spark-hive -h查看参数列表:
1.-c --num-executors
用于设置Spark作业总共要用多少个Executor进程来执行。建议每个Spark作业的运行一般设置50~100个左右的Executor进程。
2.-m --executor-memory
该参数用于设置每个Executor进程的内存。每个Executor进程的内存设置4G~8G较为合适。
3.-n --executor-cores
该参数用于设置每个Executor进程的CPU core数量。这个参数决定了每个Executor进程并行执行task线程的能力。因为每个CPU core同一时间只能执行一个task线程,因此每个Executor进程的CPU core数量越多,越能够快速地执行完分配给自己的所有task线程。建议Executor的CPU core数量设置为2~4个较为合适。
4.-C
集群模式。