Yarn的多租户配置实现资源隔离

最新推荐文章于 2024-03-28 09:33:55 发布

今天,我和你拼了

最新推荐文章于 2024-03-28 09:33:55 发布

阅读量1.9k

点赞数

分类专栏： yarn hadoop 文章标签： yarn

本文链接：https://blog.csdn.net/weixin_38255444/article/details/103208355

版权

本文介绍了Yarn实现资源隔离的两种方式，包括静态隔离和动态隔离。静态隔离利用cgroups进行服务隔离，而动态隔离主要应用于YARN和Impala。配置Yarn的多租户资源隔离步骤包括配置yarn-site.xml、添加fair-scheduler.xml、分发配置文件、重启YARN集群、创建用户并调整HDFS tmp目录权限。最后，可以通过浏览器访问调度器查看任务调度情况。

摘要由CSDN通过智能技术生成

Yarn的多租户配置实现资源隔离

资源隔离介绍：资源隔离目前有2种，静态隔离和动态隔离。
1. 静态隔离
所谓静态隔离是以服务隔离，是通过cgroups（LINUX control groups) 功能来支持的。
1. 动态隔离
  
  动态隔离只要是针对 YARN以及impala, 所谓动态只是相对静态来说，其实也不是动态。

第一步：hadoop102配置yarn-site.xml


<!--  指定我们的任务调度使用fairScheduler的调度方式  -->
<property>
	<name>yarn.resourcemanager.scheduler.class</name>
	<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>

<!--  指定我们的任务调度的配置文件路径  -->
<property>
	<name>yarn.scheduler.fair.allocation.file</name>
	<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/fair-scheduler.xml</value>
</property>

<!-- 是否启用资源抢占，如果启用，那么当该队列资源使用
yarn.scheduler.fair.preemption.cluster-utilization-threshold 这么多比例的时候，就从其他空闲队列抢占资源
  -->
<property>
	<name>yarn.scheduler.fair.preemption</name>
	<value>true</value>
</property>
<property>
	<name>yarn.scheduler.fair.preemption.cluster-utilization-threshold</name>
	<value>0.8f</value>
</property