Hadoop YARN启动cgroup进行cpu资源管理

大哥你玩摇滚

已于 2022-01-28 09:38:28 修改

阅读量2.5k

点赞数 1

分类专栏： bigdata 文章标签： hadoop yarn big data cpu

于 2022-01-28 09:26:42 首次发布

本文链接：https://blog.csdn.net/weixin_47665032/article/details/122726423

版权

在Hadoop 3.2.1环境下，运行Spark on YARN任务时，计算密集型任务可能会突破分配的CPU上限。通过配置YARN的LinuxContainerExecutor并结合cgroup，可以实现CPU资源的隔离，有效解决资源竞争问题。本文介绍了如何安装cgroup，创建hadoop-yarn目录，修改container-executor和yarn-site.xml配置，以及如何重启HDFS和YARN以应用更改。

摘要由CSDN通过智能技术生成

yarn配置cgroup隔离CPU资源

遇到的问题

我的环境中hadoop版本是 3.2.1

在运行spark on yarn任务时，虽然给每个spark任务分配了一定的CPU资源，但是对于计算密集型任务，它会突破分配的cpu上限，导致cpu飙升。

yarn默认只管理内存资源，虽然也可以申请cpu资源，但是在没有cpu资源隔离的情况下效果并不是太好，在集群规模大，任务多时资源竞争的问题尤为严重。可以通过配置yarn提供的LinuxContainerExecutor结合cgroup来隔离cpu资源

详见yarn-cgroup官方文档

配置cgroup

安装cgroup

sudo yum install -y libcgroup-tools.x86_64 libcgroup

cgroup的配置文件目录在/sys/fs/cgroup/ 或者 /cgroup
我的 linux 版本是centos7.8，目录在/sys/fs/cgroup

创建cgroup下的hadoop-yarn目錄

sudo mkdir -p /sys/fs/cgroup/cpu/hadoop-yarn
sudo mkdir -p /sys/fs/cgroup/memory/hadoop-yarn
sudo mkdir -p /sys/fs/cgroup/blkio/hadoop-yarn
sudo mkdir -p /sys/fs/cgroup/net_cls/hadoop-yarn
sudo mkdir -p /sys/fs/cgroup/devices/hadoop-yarn

启动cgroup

sudo systemctl start cgconfig

配置 yarn

修改container-executor和container-executor.cfg文件的所有者和权限

chown root:hadoop /$HADOOP_HOME/bin/container-executor
chmod 6050 /$HADOOP_HOME/bin/container-executor

sudo chown root:hadoop /$HADOOP_HOME/etc/hadoop/container-executor.cfg
sudo chown root:hadoop /$HADOOP_HOME/etc/hadoop
sudo chown root:hadoop /$HADOOP_HOME/etc
sudo chown root:hadoop /$HADOOP_HOME
sudo chmod 400 /$HADOOP_HOME/etc/hadoop/container-executor.cfg

系统要求etc/hadoop/container-executor.cfg 的所有父目录(一直到/ 目录) owner 都为 root，这个路径是默认${HADOOP_HOME}/etc/hadoop/container-executor.cfg,如果不方便修改所有父级目录为root权限,就需要新编译代