spark-调优-JVM

开启日志调试
在让G1 GC跑起来之后，我们下一步就是需要根据GC log，来进一步进行性能调优。首先，我们要让JVM记录比较详细的GC日志. 对于Spark而言，我们需要在SPARK_JAVA_OPTS中设置参数使得Spark保留下我们需要用到的日志.
一般而言，我们需要设置这样一串参数：
-XX:+PrintFlagsFinal -XX:+PrintReferenceGC -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintAdaptiveSizePolicy -XX:+UnlockDiagnosticVMOptions -XX:+G1SummarizeConcMark

降低cache操作的内存占比

spark.storage.memoryFraction 0.6
可以按这个调试看效果 0.6 -> 0.5 -> 0.4 -> 0.2

Spark Executor会将JVM的heap空间大致分为两个部分，
一部分用来存放Spark应用中持久化到内存中的RDD数据，
剩下的部分则用来作为JVM运行时的堆空间，负责RDD转化等过程中的内存消耗。
我们可以通过spark.storage.memoryFraction参数调节这两块内存的比例，
Spark会控制缓存RDD总大小不超过heap空间体积乘以这个参数所设置的值，而这块缓存RDD的空间中没有使用的部分也可以为JVM运行时所用。
降低cache操作的内存占比，大不了用persist操作，选择将一部分缓存的RDD数据写入磁盘，
或者序列化方式，配合Kryo序列化类，减少RDD缓存的内存占用，
让task执行算子函数时，有更多的内存可以使用

使用高效的垃圾回收器

-XX:+UseG1GC -XX:+PrintFlagsFinal -XX:+PrintReferenceGC -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintAdaptiveSizePolicy -XX:+UnlockDiagnosticVMOptions -XX:+G1SummarizeConcMark -Xms88g -Xmx88g -XX:InitiatingHeapOccupancyPercent=35 -XX:ConcGCThread=20

调节executor堆外内存与连接等待时长

–conf spark.yarn.executor.memoryOverhead=2048
spark-submit脚本里面，去用–conf的方式，去添加配置；
spark.yarn.executor.memoryOverhead
默认情况下，这个堆外内存上限大概是300多M；后来我们通常项目中，真正处理大数据的时候，这里都会出现问题，导致spark作业反复崩溃，无法运行；此时就会去调节这个参数，到至少1G（1024M），
甚至说2G、4G，通常这个参数调节上去以后，就会避免掉某些JVM OOM的异常问题，同时呢，会让整体spark作业的性能，得到较大的提升。

–conf spark.core.connection.ack.wait.time.out=300
调节这个值比较大 可以避免部分的偶尔出现的某某文件拉取失败