- 博客(2)
- 收藏
- 关注
RSS订阅原创 学习过程记录01_MR on Yarn、Zookeeper选举机制
学习过程记录01MR on Yarn (此处使用的是hadoop2.7.6)Zookeeper选举机制zookeeper集群能正常提供服务的前提为什么设置奇数台是比较好的？选举过程 MR on Yarn (此处使用的是hadoop2.7.6) RS（resourceManager） AM （ApplicantMaster） NM （NodeManager） 1、Client提交任务给RS 2、RS分配一个container并通知管理该container的NM在此container下启动AM 3、AM启动
2020-11-03 21:57:04
118
原创 Spark学习
Spark学习Spark的Shuffle的几种方式四种方式Redis的持久化rdbaofSpark On Yarn？cluster模式client模式 发表的东西仅为个人理解，如有不同意见可评论交流 Spark的Shuffle的几种方式 四种方式 未优化的HashShuffle Executor中的ask会有自己的缓冲区，每个缓冲区会有一一对应的磁盘文件。所以生成的磁盘文件数量=mapTask*resultTask 优化了的HashShuffle 优化后mapTask生成的文件会根据spark co
2020-10-28 21:46:41
52
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人