配置文件
$SPARK_HOME/conf/spark-defaults.conf
$HADOOP_HOME/conf/yarn-site.xml
1、启用动态资源分配功能
在spark-defaults.conf 中添加
spark.dynamicAllocation.enabled=true
$SPARK_HOME/conf/spark-defaults.conf
$HADOOP_HOME/conf/yarn-site.xml
1、启用动态资源分配功能
在spark-defaults.conf 中添加
spark.dynamicAllocation.enabled=true