![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Yarn
初心江湖路
多学一分增一分。
展开
-
Hadoop Yarn架构及任务提交流程
一、Yarn架构图图片来自官网二、Yarn架构的主要组件1、ResourceManager这是一个全局性组件,负责整个集群资源管理。其两个主要的组件分别为Scheduler(调度器)和 ApplicationsManager(应用管理器)。Scheduler调度器Scheduler是支持可插拔的,用于根据不同的队列、应用等来划分集群资源,如 CapacityScheduler 按照容...原创 2020-03-02 14:54:07 · 857 阅读 · 0 评论 -
yarn 集群资源管理中碰到的一些问题
根据碰到的几个问题进行描述1、设置了队列可以使用最大集群资源,但是当用户占用该队列已配置的资源大小时,其他任务再提交的时候一直处于ACCEPTED状态。查看以下两个参数:yarn.scheduler.capacity..capacity 表示该队列可使用的资源容量大小百分比注:所有队列配置的资源百分比相加一定等于100yarn.scheduler.capacity..maximum-ca...原创 2019-08-05 22:56:00 · 6014 阅读 · 0 评论 -
yarn application常用命令及显示示例
yarn application1、-list 列出所有 application 信息示例:yarn application -list2、-appStates 跟 -list 一起使用,用来筛选不同状态的 application,多个用",“分隔;所有状态:ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINIS...原创 2019-08-02 09:44:24 · 11756 阅读 · 1 评论