[spark]三.常见知识点|job提交参数|配置优先级|deploy-mode|OOM

三.常见知识点

1.spark-submit

spark-submit \
--master yarn \
--deploy-mode cluster \
--queue xxx
--num-executors 8 \
--executor-memory 11G \
--driver-memory 2G \
--executor-cores 3 \
--conf spark.network.timeout=10000000 \
--class com.cnki.changeCode.transferValueCode_to_Name_IBRD \

2.配置优先级

在代码中的SparkConf中配置参数具有最高优先级，其次是spark-submit或spark-shell的参数，最后是配置文件spark-default.conf

3.--deploy-mode

--deploy-mode client 会在控制机台输出调式信息,适合调试spark程序
--deploy-mode cluster 信息会在History Server中查看,适用于生产环境

4.OOM

当程序在一个yarn Container里面超过了可用内存，就会出现OOM问题。