Yarn
人生路且修且行
大数据开发,一起探讨一起进步吧
展开
-
Yarn资源调度
由于Yarn良好的兼容性和扩展性,目前可以支持大部分数据引擎,所以了解Yarn的资源调度原理很有必要,Yarn主要由四个重要角色组成:ResourceManager:顾名思义资源管理器,主要负责资源管理和调度,ResourceManager主要由两个组件构成:ApplicationManager,主要负责两类...转载 2019-11-21 19:03:52 · 121 阅读 · 0 评论 -
MR要点汇总、Yarn
大数据第9天 MapReduce 随心记: 1.默认切片=块 所以默认map就处理一个块 2.切片大小可以人为调节,故一个切片可以对应一个或者多个map,也可以一个切片对应多个块(当要求切片数据>128M时) 3.切片是逻辑的,属于计算层 4.map数量由切片决定 reduce数量由人决定,所以map和reduce可以是任何对应关系 5.reduce最优化案例分析 ...原创 2019-06-13 21:43:05 · 199 阅读 · 0 评论