mapreduce
lemon lime
放弃很简单,但坚持一定很酷!
展开
-
MapReduce Job提交源码跟踪
https://blog.csdn.net/chengyuqiang/article/details/78640294原创 2019-01-10 20:26:53 · 164 阅读 · 1 评论 -
MapReduce入门
MapReduce入门一,MapReduce是什么?MapReduce是一种分布式的离线计算框架。它是一种编程的模型,主要用于大型的数据集(大于1TB)的并行计算。将自己的程序运行在分布式系统上,概念是: Map(映射) 和 Reduce(归纳)。指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(规约)函数,用来保证所有映射的键值对中的每一个 共...原创 2019-01-06 22:00:03 · 230 阅读 · 0 评论 -
MapReduce场景应用
MapReduce场景应用一,QQ共同好友简单分析相信大家都有用过QQ, QQ会不定期的向你推荐些可能认识的人(显示你们有多少个共同好友)。那么它的数据是哪里来的呢?实际上是每个人好友列表数据分析出来的。比如说 A 的好友列表中有 B C, B的好友列表有 C D E ,那么系统可能会给A推荐 D E ,这样才是合理的方案。对于QQ用户来说,用户群是非常庞大的,分析每个人好友列...原创 2019-01-07 23:21:14 · 5116 阅读 · 0 评论 -
MapReduce 客户端提交Job源码跟踪
MapReduce 客户端提交Job源码跟踪以WordCount为例:首先是设置了连接Hadoop集群相关的配置文件,设置了Job相关的类的信息等等…一,点击Job进入:可以看到job类是继承了一个类并实现了 JobContext接口,点击JobContextJobContext又是继承了 MRJobConfig 这个类,不难猜出,这个类是MapReduce程序运行时的配置...原创 2019-01-13 17:01:35 · 250 阅读 · 0 评论 -
MapReduce源码跟踪之 Map阶段 input
MapReduce源码跟踪之 Map阶段 input一,查看 [email protected]@InterfaceStability.Stablepublic class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> { /** * The <code>Context<...原创 2019-01-13 17:02:38 · 191 阅读 · 0 评论 -
MapReduce源码跟踪之 Map阶段 outPut
MapReduce源码跟踪之 Map阶段 outPut承接 input 源码跟踪 @SuppressWarnings("unchecked") private <INKEY,INVALUE,OUTKEY,OUTVALUE> void runNewMapper(final JobConf job, final TaskSplitInd...原创 2019-01-13 17:03:32 · 173 阅读 · 0 评论 -
MapReduce源码分析,Reduce
MapReduce源码分析,Reduce阶段一,Reducer.class@[email protected]@InterfaceStability.Stablepublic class Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT> { /** * The <code>Cont...原创 2019-01-13 17:04:04 · 470 阅读 · 0 评论