MapReduce
狂躁的辣条
这个作者很懒,什么都没留下…
展开
-
MapReduce详解以及MR的运行机制
MapReduce 原语:“相同”的key为一组,调用一次reduce方法,在方法内迭代这一组数据进行计算1、创建客户端其中包括切片清单、读取配置文件、jar包。 然后申请ApplicationMaster 一条命令 就申请一个ApplicationMaster其中每个DataNode 都含有NodeManager NodeManager管理Container生命周期2、配置Ma...原创 2019-04-12 22:17:33 · 327 阅读 · 0 评论 -
MapReduce执行流程
MR的执行过程Map端1、获取切片(hdfs的块),会以一行一行的读取,然后经过MR的textinputformat 转化为(key,value)形式2、自定义Map3、分区,默认是hashpartition,分区出来后 数据形式变为 (K,V,P)然后输出到缓冲区4、缓冲区接收大小为128M,当到达80%的时候 就会执行溢写线程进行溢写5、溢写的过程会执行排序(快速排序(比较器默认...原创 2019-07-17 06:54:31 · 98 阅读 · 0 评论