spark参数设置

这里写自定义目录标题

• • 总结 Spark系统的性能调优是一个很复杂的过程，需要对Spark以及Hadoop有足够的知识储备。从业务应用平台（Spark）、存储 （HDFS）、操作系统、硬件等多个层面都会对性能产生很大的影响。借助于多种性能监控工具，我们可以很好地了解系统的性能表现，并根据上面介绍的经验进 行调整。

 

#spark.driver.extraJavaOptions -XX:PermSize=128M -XX:MaxPermSize=256M

cluster模式：
spark.driver.extraJavaOptions -XX:PermSize=1024M -XX:MaxPermSize=2048M (可被此参数覆盖–driver-java-options)
spark.executor.extraJavaOptions=-XX:+UseConcMarkSweepGC

client模式：
JAVA_OPTS="-XX:MaxPermSize=256m $OUR_JAVA_OPTS"

spark.driver.memory=1g
spark.driver.cores=1
spark.driver.maxResultSize=1g

spark.executor.memory=1g
spark.executor.cores
spark.shuffle.manager=sort
spark.shuffle.file.buffer=64K
spark.reducer.maxSizeInFlight=96m
spark.shuffle.io.maxRetries=10
spark.shuffle.sort.bypassMergeThreshold=200
spark.shuffle.spill.compress=false
spark.shuffle.memoryFraction=0.1
spark.default.parallelism=100
spark.storage.memoryFraction=0.3
spark.yarn.executor.memoryOverhead=1024
spark.yarn.driver.memoryOverhead=1228
spark.yarn.am.memory=2048
spark.yarn.am.memoryOverhead=512
spark.eventLog.enabled=true
spark.cleaner.ttl=500

参数名称 含义
–master MASTER_URL 可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local
–deploy-mode DEPLOY_MODE Driver程序运行的地方，client或者cluster
–class CLASS_NAME 主类名称，含包名
–name NAME Application名称
–jars JARS Driver依赖的第三方jar包
–py-files PY_FILES 用逗号隔开的放置在Python应用程序PYTHONPATH上的 .zip, .egg, .py文件列表
–files FILES 用逗号隔开的要放置在每个executor工作目录的文件列表
–properties-file FILE 设置应用程序属