mapreduce
82年的哇哈哈
这个作者很懒,什么都没留下…
展开
-
MapReduce流程
MapReduce简介其中Map对数据集上的独立元素进行指定的操作,生成键-值对形式中间结果。Reduce则对中间结果中相同“键”的所有“值”进行规约,以得到最终结果MapReduce主要步骤叙述Map阶段:Step 1:读取输入文件的内容,并解析成键值对(<key, value>)的形式,输入文件中的每一行被解析成一个<key, value>对,每个<...原创 2018-08-13 15:02:35 · 177 阅读 · 0 评论 -
Hadoop on yarn执行过程
yarn:只做运算资源的分配和调度,不参与用户程序内部工作,正因为如此,我们的yarn可以成为一个通用的调度平台,所以,包括我们的mr程序、storm程序、spark程序都可以运行在我们的yarn集群上mapreduce和yarn的交互过程:1、Client向Resource Manager请求运行一个程序2、Resource Manager给Client返回一个jobid和一个用于...原创 2019-01-09 14:30:00 · 339 阅读 · 0 评论