hadoop
文章平均质量分 72
hadoop相关
王木头
保持一颗探索的心~
展开
-
Yarn pengding任务的原因之一:Reserved
这两个任务需要的资源非常大,由于map和reduce的内存设置是0(cdh默认根据container所需内存量自动分配内存大小),所以在map和reduce每个container所需内存较大(本案例是卡在map阶段),并且由于container数量多,每个节点上都有这样的container。然后需要根据受限资源和任务、数据量来评估大数据集群各参数的配置,做到最优配置,以及可以将任务在时间维度上分散,避免高峰压力,通过种种手段,避免资源不足带来的风险。资源扩容的原因,其实就是没有做好资源规划。原创 2022-11-15 17:44:40 · 1374 阅读 · 0 评论 -
hadoop源码学习
一、获取源码 1、从网站:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/中获取 hadoop-2.7.7-src.tar.gz (点击即下载)。 2、将源码包解压 3、idea导入 3.1 3.2 3.3 3.4分别勾选后,点击箭头指向部分 3.5 根据本机配置勾选maven版本 setti...原创 2020-01-10 22:26:33 · 183 阅读 · 0 评论