这里写自定义目录标题
#spark.driver.extraJavaOptions -XX:PermSize=128M -XX:MaxPermSize=256M
cluster模式:
spark.driver.extraJavaOptions -XX:PermSize=1024M -XX:MaxPermSize=2048M (可被此参数覆盖–driver-java-options)
spark.executor.extraJavaOptions=-XX:+UseConcMarkSweepGC
client模式:
JAVA_OPTS="-XX:MaxPermSize=256m $OUR_JAVA_OPTS"
spark.driver.memory=1g
spark.driver.cores=1
spark.driver.maxResultSize=1g
spark.executor.memory=1g
spark.executor.cores
spark.shuffle.manager=sort
spark.shuffle.file.buffer=64K
spark.reducer.maxSizeInFlight=96m
spark.shuffle.io.maxRetries=10
spark.shuffle.sort.bypassMergeThreshold=200
spark.shuffle.spill.compress=false
spark.shuffle.memoryFraction=0.1
spark.default.parallelism=100
spark.storage.memoryFraction=0.3
spark.yarn.executor.memoryOverhead=1024
spark.yarn.driver.memoryOverhead=1228
spark.yarn.am.memory=2048
spark.yarn.am.memoryOverhead=512
spark.eventLog.enabled=true
spark.cleaner.ttl=500
参数名称 含义
–master MASTER_URL 可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local
–deploy-mode DEPLOY_MODE Driver程序运行的地方,client或者cluster
–class CLASS_NAME 主类名称,含包名
–name NAME Application名称
–jars JARS Driver依赖的第三方jar包
–py-files PY_FILES 用逗号隔开的放置在Python应用程序PYTHONPATH上的 .zip, .egg, .py文件列表
–files FILES 用逗号隔开的要放置在每个executor工作目录的文件列表
–properties-file FILE 设置应用程序属