一、spark任务使用什么进行提交?JavaEE界面还是脚本
Shell脚本
二、spark提交作业参数(重点)
参考答案:https://blog.csdn.net/gamer_gyt/article/details/79135118
1.在提交任务时的几个重要参数
executor-cores——每个executor使用的内核数,默认为1,官方建议2-5个,我们企业是4个
num-executors——启动executors的数量,默认为2
executor-memory——executor内存大小,默认1G
driver-cores——driver使用内核数,默认为1
driver-memory——driver内存大小,默认512M
2.给一个提交任务的样式