hadoop
只取一瓢2016
这个作者很懒,什么都没留下…
展开
-
hadoop之partitioner编程
在写这篇文章之前,笔者已经大致的描述过关于hadoop的mapreduce的处理数据的过程。在这边,笔者主要来介绍一下在map阶段和reduce阶段之间进行的一些数据处理。在map读取并处理完数据后,会把数据发送到partitioner,由partitioner来决定每一个键值对送往那个reduce节点。默认使用HashPartitioner,其核心方法是getPartition(),具体代码原创 2015-11-26 14:44:38 · 288 阅读 · 0 评论 -
hadoop的mapreduce原理解析
随着大数据的不断深入,人们正从信息时代在向数据时代转型原创 2015-11-25 15:42:01 · 342 阅读 · 0 评论 -
hadoop之shuffle
http://langyu.iteye.com/blog/992916转载 2015-11-27 10:15:51 · 244 阅读 · 0 评论