mapreduce
82年的哇哈哈
这个作者很懒,什么都没留下…
展开
-
MapReduce流程
MapReduce简介 其中Map对数据集上的独立元素进行指定的操作,生成键-值对形式中间结果。Reduce则对中间结果中相同“键”的所有“值”进行规约,以得到最终结果 MapReduce主要步骤叙述 Map阶段: Step 1:读取输入文件的内容,并解析成键值对(<key, value>)的形式,输入文件中的每一行被解析成一个<key, value>对,每个<...原创 2018-08-13 15:02:35 · 221 阅读 · 0 评论 -
Hadoop on yarn执行过程
yarn:只做运算资源的分配和调度,不参与用户程序内部工作, 正因为如此,我们的yarn可以成为一个通用的调度平台, 所以,包括我们的mr程序、storm程序、spark程序都可以运行在我们的yarn集群上 mapreduce和yarn的交互过程: 1、Client向Resource Manager请求运行一个程序 2、Resource Manager给Client返回一个jobid和一个用于...原创 2019-01-09 14:30:00 · 360 阅读 · 0 评论