- 博客(2)
- 收藏
- 关注
原创 Mapreduce,Yarn,HDFS流程图(含部分源码解释)
Mapreduce,Yarn,HDFS流程图(含部分源码解释)理解版给大家推荐一个流程图工具:draw.io,需要上图.xml原文件,欢迎留言
2021-03-24 10:52:46
237
1
原创 Hadoop <MapReduce优化方法>
Hadoop <MapReduce优化方法>MapReduce优化方法主要从六个方面考虑:数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。数据输入(1)合并小文件:在执行MR任务前将小文件进行合并,大量的小文件会产生大量的Map任务,增大Map任务装载次数,而任务的装载比较耗时,从而导致MR运行较慢。(2)采用CombineTextInputFormat来作为输入,解决输入端大量小文件场景。Map阶段(1)减少溢写(Spill)次数:通过调
2021-03-17 01:15:25
147
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人