Yarn
木良Duncan
这个作者很懒,什么都没留下…
展开
-
CGroup实现任务资源限制
如果设置为true,即使NodeManager的CPU资源比较空闲,containersCPU使用率也不能超过限制,可以严格限制CPU使用,保证每个container只能使用自己分配到的CPU资源;如果设置为false,container可以在有空闲CPU资源时,超额使用CPU,可以保证NodeManager总体CPU使用率比较高,提升集群的计算性能和吞吐量,所以建议使用非严格的限制方式。所有的containers的CPU使用总和在任何情况下都不会超过机器总体CPU资源的60%。原创 2023-03-25 09:42:39 · 191 阅读 · 0 评论 -
Yarn中Container是如何启动
主要是指分布式缓存机制完成的工作,功能包括初始化各种服务组件、创建工作目录、从 HDFS 下载运行所需的各种资源(比如文本文件、JAR 包、可执行文件)等。资源本地化主要有两部分组成,分别是应用程序初始化和 Container 本地化。其中,应用程序初始化的主要工作是初始化各类必需的服务组件(比如日志记录组件 LogHandler、资源状态追踪器 LocalResourceTrackerImpl等),供后续 Container 使用,通常由 Application 的第一个 Container 完成;原创 2023-03-25 09:40:27 · 225 阅读 · 0 评论 -
yarn高可用
1.在Zookeeper上会有一个/yarn-leader-election/yarn1的锁节点,所有的ResourceManager在启动的时候,会去竞争写一个Lock子节点:/yarn-leader-election/yarn1/ActiveBreadCrumb,该节点是临时节点。创建成功的ResourceManager切换为Activate,没有成功的为Standby状态。重新构建作业的内存信息,启动内部服务,开始接受NM的心跳信息,构建集群的资源信息,并接受客户端的作业请求。原创 2023-03-25 09:35:03 · 142 阅读 · 0 评论 -
yarn的工作机制
YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过 mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。(12)MR 向两个接收到任务的 NodeManager 发送程序启动脚本,这两个 NodeManager 分别启动 MapTask,MapTask 对数据分区排序。(13)MrAppMaster 等待所有 MapTask 运行完毕后,向 RM 申请容器,运行 ReduceTask。原创 2023-03-24 10:43:21 · 47 阅读 · 0 评论 -
Yarn对组成结构
Yarn主要有ResourceManager、NodeManager、ApplicationMatster和Container等组件构成。ResourceManager负责整个系统的资源管理和分配,ApplicationMaster负责单个应用程序的的管理。原创 2023-03-24 10:43:52 · 263 阅读 · 0 评论