- 博客(2)
- 收藏
- 关注
RSS订阅原创 MapReduce补充-排序-分组-切片和shuffle机制Split切片机制
MapReduce执行流程中Shuffle机制和Split机制:1.MrAppMaster(任务监控调度机制)向ResourceManager领取任务2.MrAppMaster分配一些NodeManager节点运行map task任务3.map task通过 inputFormat的子类FileInputFormat(默认这里可以自义定比如读取图片)遍历所有文件得到blogsiz...
2019-04-26 22:30:40
460
原创 YARN框架
YARN框架简介:YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。YARN概念:YARN的基本思想是将JobTracker(Job跟踪器)的两个主要功能（资源管理和作业调度...
2019-04-06 18:07:05
802
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人