MapReduce
文章平均质量分 74
BBSETS
这个作者很懒,什么都没留下…
展开
-
map-reduce 优化
map阶段优化参数:io.sort.mb(default 100)当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。而是会利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优化整个map的性能。每一个map都会对应存在一个内存buffer,map会将已经产生的部分结果先写入转载 2014-06-09 09:21:37 · 522 阅读 · 0 评论 -
Hadoop MR编程中main()函数参数注入
下面介绍MapReduce的主要的六个类,只有了解了这六个类的作用,才能在编写程序中知道哪个类是要自己实现,哪些类可以调用默认的类,才能真正的做到游刃有余,关于需要自己编写的类(用户制定类)可以参考:http://www.cnblogs.com/liqizhou/archive/2012/05/14/2499498.html InputFormat类。该类的作用是将输入的文件和数据分割成许转载 2014-07-01 11:10:07 · 1900 阅读 · 0 评论