![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
文章平均质量分 93
lcm_linux
欲买桂花同载酒,终不似,少年游。
展开
-
yarn集群调优
一、概述每个job提交到yarn上执行时,都会分配Container容器去运行,而这个容器需要资源才能运行,这个资源就是Cpu和内存。1、CPU资源调度目前的CPU被Yarn划分为虚拟CPU,这是yarn自己引入的概念,因为每个服务器的Cpu计算能力不一样,有的机器可能是 其他机器的计算能力的2倍,然后可以通过多配置几个虚拟内存弥补差异。在yarn中,cpu的相关配置如下。yarn.nodemanager.resource.cpu-vcores表示该节点服务器上yarn可以使用的虚拟的CPU个数,原创 2020-08-18 11:48:12 · 1186 阅读 · 0 评论 -
yarn集群三种调度
理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中,负责给应用分配资源的就Scheduler。其实调度本身就是一个难题,很难找到一个完美的策略可以解决所有的应用场景。为此,Yarn提供了多种调度器和可配置的策略供我们选择。在Yarn中有三种调度器可以选择:FIFO Scheduler ,Capacity Scheduler,FairScheduler。1、FIFO-先进先出原创 2020-08-18 11:44:56 · 2393 阅读 · 0 评论 -
yarn集群ui界面详解
1、UI界面详解我们安装完Yarn后,可以在浏览器中通过http://master:8088来访问Yarn的WEB UI,如下图:我们详细解释上图中标记为1(也就是cluster)和2(也就是Nodes)两个界面中和资源有关的信息对上面7个字段信息进行解释:1.Active Nodes:表示Yarn集群管理的节点的个数,其实就是NodeManager的个数,我们集群有2个NodeManager从配置中可以看到每一个NodeManager管理的内存大小是1630MB,那么整个Yarn集群管理的内原创 2020-08-18 11:43:41 · 13116 阅读 · 0 评论