2012年02月_andyxm

10月 07月 02月 01月

转载 GC策略笔记备忘（被namenode所迫）

转自：http://blog.csdn.net/ae86_fc/article/details/6244164 引起namenode占据这么多内存的原因就不详细记了，经历过的人肯定都知道。既然这哥们占了这么大内存，那么其对应的ＧＣ肯定就表现的与众不同。在这个上面，我们真的吃过很多苦头，以前人傻，比较天真，也没有什么经验（估计SUN开发JVM的时候也没有想到过有人会把他们的产品用到这种

2012-02-03 10:44:22 2289

在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的

2012-02-02 18:14:22 744

转载 hadoop作业调优参数整理及原理

1 Map side tuning参数 1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内存buffer（MapOutputBuffe

2012-02-02 18:13:36 495

转载写好Hive 程序的五个提示

转自：http://www.tbdata.org/archives/622 使用Hive可以高效而又快速地编写复杂的MapReduce查询逻辑。但是某些情况下，因为不熟悉数据特性，或没有遵循Hive的优化约定，Hive计算任务会变得非常低效，甚至无法得到结果。一个”好”的Hive程序仍然需要对Hive运行机制有深入的了解。有一些大家比较熟悉的优化约定包括：Join中需要将大表写在靠右

2012-02-02 17:31:28 608

转载 Hadoop-0.20.2 作业内存控制策略分析

转自：http://dongxicheng.org/mapreduce/hadoop-job-memory-control/ 对于Hadoop而言，对作业使用资源量进行限制是非常重要的，这可以防止一些有问题的作业因耗掉集群中大量资源而干扰其他正常作业。本文主要分析了Hadoop-0.20.2中作业内存控制相关策略，包括怎样启用Hadoop作业内存使用量控制功能，Hadoop怎样实

2012-02-02 16:40:54 1703

转载 Hadoop平台优化综述

1. 概述随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要几个：（1） Namenode/jobtracker单点故障。 Hadoop采用的是master/s

2012-02-02 16:22:22 659

转载 Hive-0.5中UDF和UDAF简述

一、UDF 1、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： a）文件格式：Text File，Sequence File b）内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text c）用户提供的 map/reduce 脚本

2012-02-01 11:15:55 559