spark submit 指定资源池-CDH Hadoop集群运维记录

前言

cdh hadoop集群为例，集群的动态资源池默认有个root，实际业务应用可以创建新的资源池，并且可以为集群上运行的任务针对资源池做合理的参数配置，如计划策略、资源权重、cpu内存的占用值最小资源数、最大资源数，正在运行的应用程序最大数量

由于实际应用可能有比较大的差异分类,比如实时任务和离线任务，夜间的任务 和白天的任务，还有些重要任务需要单独配置足够的资源进行保障的，

所以需要划分不同的资源池供应用程序使用

 

命令

 

指定资源池的spark任务提交命令如下

spark-submit --master yarn  --class com.bcht.application.FlowCountMinStreamingWenShan \

--jars $SPARK_HOME/mysql-connector-java-8.0.20.jar --driver-memory 512M --driver-cores 1 --executor-memory 512M --executor-cores 1 --num-executors 1 \

--queue root.users.online /test/demo_scala.jar

 

问题

在yarn界面里面的资源池选项页面里提交的应用程序并没有在指定的资源池中运行

 

原因

--queue 指定资源池时 需在动态资源池创建好

 

并且是 需要在已有的资源池 编辑 新建 子池出来的资源池 指定的才会起作用

 

 

 

直接点这个 创建出来的资源池 指定是不起作用的