性能
magicdreaming
这个作者很懒,什么都没留下…
展开
-
M/R的数据源为HBase时须关闭Speculative Execution
在HBase使用Speculative Execution会加重regionserver的load。 因为用Hadoop map/reduce操作HBase的时候,会尽量采用本地原则,即相应的task尽量使用本地的数据。 而如果另起一个task,则会导致数据不在本地,凭空浪费IO和网络资源。 强烈建议关闭 Speculative Execution 方法是在jobconf中设定原创 2012-05-30 15:40:04 · 1025 阅读 · 0 评论 -
hadoop作业调优参数整理及原理
原地址:http://www.tbdata.org/archives/1470 1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优转载 2012-06-18 15:44:54 · 1037 阅读 · 0 评论