mapreduce
hechenghai
已经不走技术路线了,可能没法回到大家的问题了,抱歉!
展开
-
hadoop 的job.setOutputKeyClass和job.setOutputValueClass的几个问题
昨天写了一个mapreduce函数一直有错误,找不到,今天找了一天终于解决了,原来是hadoop 的job.setOutputKeyClass和job.setOutputValueClas设置输出的问题。job.setOutputKeyClass和job.setOutputValueClas在默认情况下是同时设置map阶段和reduce阶段的输出,也就是说只有map和reduce输出是原创 2015-06-16 11:50:35 · 7085 阅读 · 0 评论 -
Hadoop YARN的发展史与详细解析
【编者按】成熟、通用让Hadoop深得大数据玩家喜爱,即使是在YARN出现之前,在流处理框架林立下,Hadoop仍然被众多机构广泛运用在离线处理之上。借鉴于Mesos,MapReduce获得新生,YARN提供了更加优秀的资源管理器,让Storm等流处理框架同样可以运行在Hadoop集群之上;但是别忘记,Hadoop有着远比Mesos成熟的社区。从兴起到唱衰再到兴起,这头搬运大数据的大象已更加成熟、转载 2015-06-17 16:42:16 · 434 阅读 · 0 评论 -
context.write
今天因为Context.write的一个问题调试了半天,对于hadoop的context.write来讲,必须保证有值写入,不能是null,如果是null会让map输出和reduce的输入不匹配而造成程序运行错误。原创 2015-06-16 14:48:19 · 8291 阅读 · 0 评论 -
MapReduce:详解Shuffle(copy,sort,merge)过程
Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火,所以在这里转载 2015-06-15 15:59:05 · 431 阅读 · 0 评论 -
hadoop2提交到Yarn: Mapreduce执行过程分析2
转载地址:http://www.aboutyun.com/forum.php?mod=viewthread&tid=9370&highlight=hadoop2%CC%E1%BD%BB%B5%BDYarn问题导读:1.hadoop哪些数据类型,是如何与Java数据类型对应的?2.ApplicationMaster什么时候启动?3.YarnChild进程什么时候产生?4.转载 2015-11-03 20:46:07 · 846 阅读 · 0 评论 -
hadoop2提交到Yarn: Mapreduce执行过程分析1
转载网址:http://www.aboutyun.com/forum.php?mod=viewthread&tid=9366&highlight=hadoop2%CC%E1%BD%BB%B5%BDYarn1.为什么会产生Yarn?2.Configuration类的作用是什么?3.GenericOptionsParser类的作用是什么?4.如何将命令行中的参数配置到变量con转载 2015-11-03 20:44:58 · 2486 阅读 · 0 评论 -
hadoop2提交到Yarn: Mapreduce执行过程reduce分析3
转载地址:http://www.aboutyun.com/thread-9375-1-1.html问题导读:1.Reduce类主要有哪三个步骤?2.Reduce的Copy都包含什么过程?3.Sort主要做了哪些工作?4.4 Reduce类4.4.1 Reduce介绍整完了Map,接下来就是Reduce了。YarnChild.main(转载 2015-11-03 20:47:45 · 700 阅读 · 0 评论