yarn使用cgroup隔离cpu资源

最新推荐文章于 2023-12-24 17:45:09 发布
最新推荐文章于 2023-12-24 17:45:09 发布
阅读量381 收藏
点赞数
分类专栏： hadoop
原文链接：https://blog.csdn.net/leone911/article/details/77849271
版权

yarn默认只管理内存资源,虽然也可以申请cpu资源,但是在没有cpu资源隔离的情况下效果并不是太好.在集群规模大,任务多时资源竞争的问题尤为严重.
还好yarn提供的LinuxContainerExecutor可以通过cgroup来隔离cpu资源

cgroup

cgroup是系统提供的资源隔离功能,可以隔离系统的多种类型的资源,yarn只用来隔离cpu资源

安装cgroup

默认系统已经安装了cgroup了,如果没有安装可以通过命令安装
CentOS 6

yum install -y libcgroup

CentOS 7

yum install -y libcgroup-tools

然后通过命令启动
CentOS 6

/etc/init.d/cgconfig start

CentOS 7

systemctl start cgconfig.service

查看/cgroup目录,可以看到里面已经创建了一些目录,这些目录就是可以隔离的资源

 

  1. drwxr-xr-x 2 root root 0 3月 19 20:56 blkio

  2. drwxr-xr-x 3 root root 0 3月 19 20:56 cpu

  3. drwxr-xr-x 2 root root 0 3月 19 20:56 cpuacct

  4. drwxr-xr-x 2 root root 0 3月 19 20:56 cpuset

  5. drwxr-xr-x 2 root root 0 3月 19 20:56 devices

  6. drwxr-xr-x 2 root root 0 3月 19 20:56 freezer

  7. drwxr-xr-x 2 root root 0 3月 19 20:56 memory

  8. drwxr-xr-x 2 root root 0 3月 19 20:56 net_cls

如果目录没有创建可以执行

 

  1. cd /

  2. mkdir cgroup

  3. mount -t tmpfs cgroup_root ./cgroup

  4. mkdir cgroup/cpuset

  5. mount -t cgroup -ocpuset cpuset ./cgroup/cpuset/

  6. mkdir cgroup/cpu

  7. mount -t cgroup -ocpu cpu ./cgroup/cpu/

  8. mkdir cgroup/memory

  9. mount -t cgroup -omemory memory ./cgroup/memory/

通过cgroup隔离cpu资源的步骤为

  1. 在cpu目录创建分组
    cgroup以组为单位隔离资源,同一个组可以使用的资源相同
    一个组在cgroup里面体现为一个文件夹,创建分组直接使用mkdir命令即可.
    组下面还可以创建下级组.最终可以形成一个树形结构来完成复杂的资源隔离方案.
    每当创建了一个组,系统会自动在目录立即创建一些文件,资源控制主要就是通过配置这些文件来完成 
     

    1. --w--w--w- 1 root root 0 3月 19 21:09 cgroup.event_control

    2. -rw-r--r-- 1 root root 0 3月 19 21:09 cgroup.procs

    3. -rw-r--r-- 1 root root 0 3月 19 21:09 cpu.cfs_period_us

    4. -rw-r--r-- 1 root root 0 3月 19 21:09 cpu.cfs_quota_us

    5. -rw-r--r-- 1 root root 0 3月 19 21:09 cpu.rt_period_us

    6. -rw-r--r-- 1 root root 0 3月 19 21:09 cpu.rt_runtime_us

    7. -rw-r--r-- 1 root root 0 3月 19 21:09 cpu.shares

    8. -r--r--r-- 1 root root 0 3月 19 21:09 cpu.stat

    9. -rw-r--r-- 1 root root 0 3月 19 21:09 notify_on_release

    10. -rw-r--r-- 1 root root 0 3月 19 21:09 tasks

    yarn默认使用hadoop-yarn组作为最上层,任务运行时yarn会为每个container在hadoop-yarn里面创建一个组
    yarn主要使用cpu.cfs_quota_us cpu.cfs_period_us cpu.shares3个文件
    yarn使用cgroup的两种方式来控制cpu资源分配
    1. 严格按核数隔离资源
      可使用核数 = cpu.cfs_quota_us/cpu.cfs_period_us
      在yarn中cpu.cfs_quota_us被直接设置为1000000(这个参数可以设置的最大值)
      然后根据任务申请的core来计算出cpu.cfs_period_us
    2. 按比例隔离资源
      按每个分组里面cpu.shares的比率来分配cpu
      比如A B C三个分组,cpu.shares分别设置为1024 1024 2048,那么他们可以使用的cpu比率为1:1:2
  2. 将进程id添加到指定组的tasks文件
    创建完分组后只需要将要限制的进程的id写入tasks文件即可,如果需要解除限制,在tasks文件删除即可

yarn配置

启动cgroup需要配置几个配置文件

etc/hadoop/yarn-site.xml配置

可以参考http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/NodeManagerCgroups.html 配置
这些配置大部分都是固定配置

 

  1. <property>

  2. <name>yarn.nodemanager.container-executor.class</name>

  3. <value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>

  4. </property>

  5. <property>

  6. <name>yarn.nodemanager.linux-container-executor.resources-handler.class</name>

  7. <value>org.apache.hadoop.yarn.server.nodemanager.util.CgroupsLCEResourcesHandler</value>

  8. </property>

  9. <property>

  10. <description>yarn使用的cgroup组,默认为/hadoop-yarn</description>

  11. <name>yarn.nodemanager.linux-container-executor.cgroups.hierarchy</name>

  12. <value>/hadoop-yarn</value>

  13. </property>

  14. <property>

  15. <description>是否自动挂载cgroup</description>

  16. <name>yarn.nodemanager.linux-container-executor.cgroups.mount</name>

  17. <value>true</value>

  18. </property>

  19. <property>

  20. <description>cgroup挂载目录, /sys/fs/cgroup 或者是 /cgroup,目录和系统有关</description>

  21. <name>yarn.nodemanager.linux-container-executor.cgroups.mount-path</name>

  22. <value>/cgroup</value>

  23. </property>

  24. <property>

  25. <name>yarn.nodemanager.linux-container-executor.group</name>

  26. <value>hadoop</value>

  27. </property>

  28. <property>

  29. <description>配置nodemanager使用多少物理cpu资源,比如24核服务器配置90的话,最近使用21.6核</description>

  30. <name>yarn.nodemanager.resource.percentage-physical-cpu-limit</name>

  31. <value>90</value>

  32. </property>

  33. <property>

  34. <description>是控制是否严格限制cpu,即按任务申请的core限制,还是非严格限制,即按core的比率限制</description>

  35. <name>yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage</name>

  36. <value>true</value>

  37. </property>

  38. <property>

  39. <description>非安全模式将会以这里设置的用户运行container,比如配置hadoop用户则以hadoop运行container</description>

  40. <name>yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user</name>

  41. <value>hadoop</value>

  42. </property>

etc/hadoop/container-executor.cfg配置

这个配置文件每项都需要填,要不然会报错

 

  1. yarn.nodemanager.linux-container-executor.group=hadoop

  2. banned.users=root

  3. min.user.id=1000

  4. allowed.system.users=hadoop

权限设置

在配置中文件的权限有特殊要求

 

  1. chown root:hadoop bin/container-executor

  2. chmod 6050 bin/container-executor

系统还要求etc/hadoop/container-executor.cfg 的所有父目录(一直到/ 目录) owner 都为 root
这个路径是默认${HADOOP_HOME}/etc/hadoop/container-executor.cfg,如果不方便修改所有父级目录为root权限,可以重新编译代码到其他目录,比如/etc/hadoop/目录

mvn clean package -Dcontainer-executor.conf.dir=/etc/hadoop/ -DskipTests -Pnative

配置好以后检测是否配置成功

./bin/container-executor --checksetup

如果没有任何输出表示配置成功
如果一切顺利就可以启动集群了

测试cgroup

可以运行测试脚本测试系统

 

  1. ./bin/spark-submit \

  2. --class org.apache.spark.examples.SparkPi \

  3. --master yarn-cluster \

  4. --deploy-mode cluster \

  5. --num-executors 5 \

  6. --executor-cores 3 \

  7. --executor-memory 4G \

  8. --driver-memory 4G \

  9. --driver-cores 2 \

  10. lib/spark-examples-1.6.0-hadoop2.6.0.jar 10000

查看系统是否生效只能登录到服务器查看
通过top查看信息


查看是否创建了cgroup分组,ll /cgroup/hadoop-yarn/

 

  1. --w--w--w- 1 root root 0 3月 17 15:44 cgroup.event_control

  2. -rw-r--r-- 1 root root 0 3月 17 15:44 cgroup.procs

  3. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000011

  4. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000026

  5. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000051

  6. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000076

  7. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000101

  8. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000123

  9. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000136

  10. drwxr-xr-x 2 root root 0 3月 17 16:06 container_1489736876249_0003_01_000155

  11. drwxr-xr-x 2 root root 0 3月 17 16:30 container_1489736876249_0004_01_000008

  12. -rw-r--r-- 1 root root 0 3月 17 15:47 cpu.cfs_period_us

  13. -rw-r--r-- 1 root root 0 3月 17 15:47 cpu.cfs_quota_us

  14. -rw-r--r-- 1 root root 0 3月 17 15:44 cpu.rt_period_us

  15. -rw-r--r-- 1 root root 0 3月 17 15:44 cpu.rt_runtime_us

  16. -rw-r--r-- 1 root root 0 3月 17 15:44 cpu.shares

  17. -r--r--r-- 1 root root 0 3月 17 15:44 cpu.stat

  18. -rw-r--r-- 1 root root 0 3月 17 15:44 notify_on_release

  19. -rw-r--r-- 1 root root 0 3月 17 15:44 tasks

查看container_*目录下 cpu.cfs_period_us,计算cpu.cfs_quota_us/cpu.cfs_period_us即可知道分配的核数

 

  1. [root@- ~]# cat /cgroup/cpu/hadoop-yarn/container*/cpu.cfs_period_us

  2. 462962

  3. 462962

  4. 462962

  5. 462962

  6. 462962

  7. 462962

  8. 462962

  9. 462962

  10. 308641

问题处理

配置的过程中免不了会碰上一些问题,以下是我碰到的问题

spark任务申请了core,node manager分配不正确,都是分配1个核

这个是由于目前使用的capacity scheduler的资源计算方式只考虑了内存,没有考虑CPU
这种方式会导致资源使用情况统计不准确,比如一个saprk程序启动命令资源参数如下

--num-executors 1 --executor-cores 3 --executor-memory 4G --driver-memory 4G --driver-cores 1

DefaultResourceCalculator 统计占2核
DominantResourceCalculator 统计占4核
修改配置文件即可解决

 

  1. <property>

  2. <name>yarn.scheduler.capacity.resource-calculator</name>

  3. <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>

  4. <description>

  5. The ResourceCalculator implementation to be used to compare

  6. Resources in the scheduler.

  7. The default i.e. DefaultResourceCalculator only uses Memory while

  8. DominantResourceCalculator uses dominant-resource to compare

  9. multi-dimensional resources such as Memory, CPU etc.

  10. </description>

  11. </property>

container-executor运行时报缺少GLIBC_2.14库

container-executor: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by bin/container-executor)

这个和系统版本有关,只能通过重新编译container-executor来解决

mvn clean package -Dcontainer-executor.conf.dir=/etc/hadoop/ -DskipTests -Pnative

centos 7系统container启动报错,不能写入/cgroup/cpu

这个是yarn在centos 7下的一个bug,hadoop 2.8以后的版本才会解决
这个bug主要是因为centos 7下cgroup的目录和centos 6不一致导致,centos 7 cpu目录合并成cpu,cpuacct, 这个,导致的错误,需要打补丁后编译https://issues.apache.org/jira/browse/YARN-2194

 

  1. private String findControllerInMtab(String controller,

  2. Map<String, List<String>> entries) {

  3. for (Entry<String, List<String>> e : entries.entrySet()) {

  4. // if (e.getValue().contains(controller))

  5. // return e.getKey();

  6.  

  7. if (e.getValue().contains(controller)) {

  8. String controllerKey = e.getKey();

  9. // In Redhat7, the controller is called "/sys/fs/cgroup/cpu,cpuacct"

  10. controllerKey = controllerKey.replace("cpu,cpuacct", "cpu");

  11. if (new File(controllerKey).exists()) {

  12. return controllerKey;

  13. }

  14. }

  15. }

  16.  

  17. return null;

  18. }

升级的风险

由于改变了资源的隔离方式,升级可能有几个方面的影响

任务资源分配问题

升级cgroup后单个任务如果以前资源分配不合理可能会出现计算延时情况,出现资源问题时需要调整任务资源
在集群规模小的时候可能没有资源可以调整,那么可以修改为非严格模式,非严格模式不能按配置限制资源,只能保证资源不被少数进程全部占用

 

  1. <property>

  2. <name>yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage</name>

  3. <value>false</value>

  4. </property

spark driver资源问题

spark任务的driver在集群模式deploy-mode cluster时,如果没有配置driver-cores的话默认分配1核,1核在任务规模大时有可能资源会紧张.采用deploy-mode client模式的不受cgroup限制

 

mnasd
关注
专栏目录
Hadoop YARN启动cgroup进行cpu资源管理
weixin_47665032的博客
01-28 2535
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
yarn内存和cpu的资源调度(管理)和资源隔离机制
weixin_39950222的博客
09-09 602
http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-memory-cpu-scheduling/ http://dongxicheng.org/mapreduce-nextgen/yarnmrv2-resource-manager-resource-manager/ https://blog.csdn.net/ZYC88888/articl...
Yarn 使用 Cgroup 实现任务资源限制
mojolang
05-20 2226
Linux CGroup 全称是 Linux Control Group，是 Linux 内核提供的一个用来限制进程资源使用的功能，支持如 CPU, 内存，磁盘 IO 等资源的使用限制。用户可以使用 CGroup 对单个进程或者一组进程进行精细化的资源限制，具体使用方式可以查看参考文档。 目前， Yarn NodeManager 能够使用 CGroup 来限制所有 containers 的资源使用，主要是 CPU 资源。如果不用 CGroup， 在 NM 端很难实现对 container 的 CPU 使用
spark on yarn cgroup 资源隔离(cpu篇)
偷闲小苑
08-02 4075
环境配置 cdh 5.9.0 cm 5.15.0 os centos 7.2 背景 yarn container 默认不支持对cpu进行资源隔离，一些计算密集型任务甚至可能占满NM节点的cpu资源，从而影响到其他任务的执行效率。 spark streaming 出现消费延时 一些调度任务运行时间波动较大 目标 限制一些计算密集型任务的CPU使用，避免多 Cont...
Hadoop伪分布式测试：YARN启用cgroup对CPU资源隔离的影响分析
启用cgroup后，YARN可以根据配置动态地限制每个应用容器的CPU使用比例，防止一个任务占用过多的CPU资源，影响其他任务的执行。 在测试环境中，作者使用的是CentOS 6.5操作系统，JDK 1.8.0_91，Scala，以及Hadoop ...
yarn中的cgroup调度
隔壁老杨的专栏
09-22 4492
yarn中cgroup的调度
YARN之CGroups
zincooo的博客
07-06 339
Overview：YARN的使用在国内越来越广泛，是大数据调度的首选。但是默认的机制无法对CPU资源进行限制。会有一些极端的情况：某个任务占用了机器的大部分CPU资源，对其他任务会产生很大影响，这种情况默认YARN是无法控制的。
Cgroup － 从 CPU 资源隔离说起.docx
01-03
Cgroup － 从 CPU 资源隔离说起.doc
cgroups是linux内核中限制、记录、隔离进程组（process groups）所使用的物理资源的机制
小郑
04-09 794
子进程在容器中，物理机中的就是父进程，子进程也叫线程应用程序运行环境隔离的空间，就是一个命名空间，每一个空间都将拥有UTS、IPC、Mount 、 Net、User、PID9大子系统把资源定义为子系统，可以通过子系统对资源进行限制CPU 可以控制进程使用CPU的比例，1024等份一分钟，每秒各进程占用cpu都是分比例分配的memory 限制内存使用，例如50Mi,150Miblkio 限制块设备的IO，也就是限制IO流的带宽。
YARN启用Cgroup
sx157559322的博客
07-08 232
“梦想感到一股清凉,在夏日黄昏”环境说明集群测试环境:CDH6.2.1Linux系统:centos7.6 内存15G 物理核数2个(逻辑核4个)未启用CGroup时验证1.1前置准备前置条件1:spark.dynamicAllocation.enabled=false，取消动态资源分配并更新到客户端配置，避免应用程序分配过多的CPU，影响判断。前置条件2:YARN 配置 :yarn.nodeman...
【收藏】Spark on yarn cgroups 资源隔离 | cgroup使用示例-cpu限制
学亮编程手记
07-12 389
root@ubuntu2104:~# ls /sys/fs/cgroup/cpu cgroup.clone_children cpuacct.usage_percpu cpu.cfs_quota_us cgroup.procs cpuacct.usage_percpu_sys cpu.shares cgroup.sane_behavior cpuacct.usage_percpu_user cpu.stat cpuacct.stat cpuac
yarn cgroups介绍及安装
sun
11-25 806
1.要在较新版本的CentOS上使用cgroup，您需要安装 libcgroup 以及 libcgroup-工具： $ sudo yum install libcgroup $ sudo yum install libcgroup-tools 2.查看运行状态，并启动服务 [root@localhost ~]# service cgconfig status Stopped [root@localhost ~]# service cgconfig start Starting cgco.
Hadoop YARN Cgroups 资源隔离讲解
最新发布
匠人精神，持之以恒！
12-24 1536
Hadoop YARN (Yet Another Resource Negotiator) 使用 Cgroups（Control Groups）来进行资源管理和隔离。Cgroups 是 Linux 内核提供的一种机制，用于限制、账户和隔离进程组（process groups）的资源（例如 CPU、内存、磁盘 I/O 等）
Yarn下CGroups对CPU限制的理解
A Vimer's World
04-25 1701
好奇Yarn CGroup限制是怎么样对CPU做限制的？ CGroup对CPU的限制 cpushares隔离: 给我们提供了一种可以按权重比率弹性分配cpu时间资源的手段;当cpu空闲的时候，某一个要占用cpu的cgroup可以完全占用剩余cpu时间，充分利用资源。而当其他cgroup需要占用的时候，每个cgroup都能保证其最低占用时间比率，达到资源隔离的效果。 cpuset隔...
Memory cgroup out of memory: Kill process 13011(java) score 247 or sacrifice child
wubeibei_的博客
03-20 2275
Memory cgroup out of memory: Kill process 13011(java) score 247 or sacrifice child
yarn参数设置
weixin_46680124的博客
06-30 3584
NM 主要使用两个参数来限制 containers CPU 资源使用。首先，使用 yarn.nodemanager.resource.percentage-physical-cpu-limit 来设置所有 containers 的总的 CPU 使用率占用总的 CPU 资源的百分比。比如设置为 60，则所有的 containers 的 CPU 使用总和在任何情况下都不会超过机器总体 CPU 资源的 60 %。然后，使用 yarn.nodemanager.linux-container-executor.cgr
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值