Hadoop
panpan_ping
这个作者很懒,什么都没留下…
展开
-
Yarn工作执行流程
(job的提交):客户端向resourcemanager提交job请求,申请资源。Resourcemanager向客户端返回一个job_id以及共享资源路径hdfs/tmp客户端将共享资源放在共享资源路径下(job.jar,job.xml,job.xml)。客户端向resourcemanager返回共享资源放置成功的响应,真正提交应用程序。Resourcemanager向客户端返回一个...原创 2019-05-26 16:05:32 · 179 阅读 · 1 评论 -
MapReduce的执行流程
MapReduce 执行流程:(shuffle在maptask和reducetask之间)1、 数据的底层存储:文件在hdfs中以Block的方式存放时,假如分为3块,为了计算逻辑切片的大小,用FileInputFormat类获得get split方法进行切片,理论上一个切片==一个块区,最后一个逻辑切片的大小默认为140.8M。一个切片对应一个maptask任务。2、 Mapta...原创 2019-05-26 16:10:42 · 163 阅读 · 0 评论