关闭

spark on yarn的cpu使用

2823人阅读 评论(1) 收藏 举报
分类:

    在yarn-site.xml中,可以配置virutal core的个数,请注意不是physical core的个数,相关配置如下:

<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>30</value>
  <description>NodeManager总的可用虚拟CPU个数</description>

</property>

virutal core的概念是将所有physical cpu组成8个可调度的队列,linux使得有任务的时候每个physical cpu都能够调度,达到负载均衡。假设一台pc有16个physical cpu,当只有一个container的时候,这个container会使用这16个cpu,如果有2个container则每个container各占用8个physical cpu

spark运行的时候,通过--executor-cores指定的cpu个数都是vcore的个数,所以spark on yarn运行程序的时候,虽然通过--executor-cores指定vcore个数为1,但是所有的cpu都是很忙被占用。

    yarn默认情况下,只根据内存调度资源,所以spark on yarn运行的时候,即使通过--executor-cores指定vcore个数为N,但是在yarn的资源管理页面上看到使用的vcore个数还是1. 相关配置在capacity-scheduler.xml 文件:

<property>
    <name>yarn.scheduler.capacity.resource-calculator</name>
    <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
    <description>
      The ResourceCalculator implementation to be used to compare
      Resources in the scheduler.
      The default i.e. DefaultResourceCalculator only uses Memory while
      DominantResourceCalculator uses dominant-resource to compare
      multi-dimensional resources such as Memory, CPU etc.
    </description>
  </property>
要想--executor-cores的是指起效,得修改这项配置为:

<property>
  <name>yarn.scheduler.capacity.resource-calculator</name>
  <!-- <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value> -->
  <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>

 这样就可以起效果了

cpu调度的时候,需要启动CGroups机制来达到cpu进程隔离的效果,但是windows不支持CGroups机制
















0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:152904次
    • 积分:2474
    • 等级:
    • 排名:第15440名
    • 原创:93篇
    • 转载:2篇
    • 译文:1篇
    • 评论:22条
    最新评论