spark运行参数根据实际情况自行设置,仅供参考。
spark-sql
--conf spark.scheduler.listenerbus.eventqueue.size=90000000
--driver-cores 4
--driver-memory 10g
--executor-memory 80g
--num-executors 40
--executor-cores 20
--master yarn << EOF
**HIVESQL**
EOF
spark运行参数根据实际情况自行设置,仅供参考。
spark-sql
--conf spark.scheduler.listenerbus.eventqueue.size=90000000
--driver-cores 4
--driver-memory 10g
--executor-memory 80g
--num-executors 40
--executor-cores 20
--master yarn << EOF
**HIVESQL**
EOF