![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
李白星河
nlp算法工程师
展开
-
自学yarn部分知识点汇总
1、什么是Yarn 通用资源管理系统和调度平台 2、Yarn特点: 1、支持多计算框架 2、资源利用率高,运行成本低,数据共享。 3、Yarn的意义: 降低了企业硬件的成本(多个集群变成一个集群),减少了资源的了浪费,运营成本低。 4、Yarn基本组成 ResourceManager :一个集群资源调度的管理者 NodeManager :一个节点资源调度的管理者(集群各个节点资源的工作者) ...原创 2020-04-01 10:00:04 · 184 阅读 · 0 评论 -
yarn常用概念知识点汇总
问题一:集群提交任务,是什么决定任务分配到哪个节点上? Yarn(RM,NM) 问题二:集群提交任务,偶尔成功,偶尔失败(使用外部配置文件)? 答:程序所需要的数据(配置文件)缺失。有的节点缺失,有的节点不缺失。 解决:在所有的节点上存一份程序所需要的数据(配置文件) 是谁来分配的呢? 答案:Yarn ResourceManager:一个集群只有一个ResourceManager对外提供服务(可...原创 2020-03-30 10:20:46 · 511 阅读 · 0 评论