![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
snowleafzf
这个作者很懒,什么都没留下…
展开
-
yarn sls源码的理解与schedule.xml配置实验
part1. slsl测试时的语句 echo "!!!!!!!into autoSubmitJobs.sh" dir=/usr/local/hadoop/share/hadoop/tools/sls rm -rf $dir/my-logs mkdir $dir/my-logs rm -rf /usr/local/hadoop/share/hadoop/tools/sls/yumh-err.t...原创 2018-11-20 22:13:07 · 463 阅读 · 15 评论 -
yarn sls学习(理论)
Hadoop2.0版本,引入了Yarn。核心:HDFS+Yarn+Mapreduce Yarn是资源调度框架。能够细粒度的管理和调度任务。此外,还能够支持其他的计算框架,比如spark等。 hadoop原理理解参考: https://blog.csdn.net/wjlwangluo/article/details/76423147 yarn scheduler load simul...原创 2018-11-12 14:42:34 · 699 阅读 · 0 评论 -
三、Hadoop权威指南学习(YARN)
部分基础以及yarn sls:https://mp.csdn.net/postedit/83991164 yarn应用可以在运行中的任意时刻提出资源申请。1.在最开始提出所有请求(spark);2.为了满足不断变化的应用需要采取根伟动态的方式在需要更多资源时提出请求。 yarn应用的生命周期: 1.一个用户作业对应一个应用(MapReduce) 2.作业的每个工作流或每个用户对话对应一个应...原创 2019-04-01 18:55:20 · 339 阅读 · 0 评论