![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
尘客.
大数据开发攻城狮
展开
-
Yarn 调度器Scheduler详解
站内转发大佬博客:https://blog.csdn.net/suifeng3051/article/details/49508261 理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中,负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题,很难找到...转载 2019-11-26 09:39:27 · 246 阅读 · 0 评论 -
hadoop配置LZO压缩
hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件。 在此以hadoop2.7.2为例 1、将编译好后的hadoop-lzo-0.4.20.jar放入hadoop-2.7.2/share/hadoop/common/ 2、同步hadoop-lzo-0.4.20.jar到其他hadoop节点 3、在core-site.xml添加lzo压缩配置 <pr...原创 2019-10-20 16:10:39 · 413 阅读 · 3 评论