Spark 任务提交

bin/spark-submit \
--class com.spark.Analysis \
--master yarn
--deploy-mode cluster
--num-executors 80 \
--driver-memory 6g \
--executor-memory 6g \
--executor-cores 3 \
/usr/opt/modules/spark/jar/spark.jar

名称	说明
–num-executors	配置 Executor 的数量
–driver-memory	配置 Driver 内存（影响不大）
–executor-memory	配置每个 Executor 的内存大小
–executor-cores	配置每个 Executor 的 CPU core 数量