spark集群大部分slave在任务运行时突然挂掉

原因1：G1和CMS同时设置到了submit参数当中，去掉一个就好了；比如用下面的提交参数：

（总核心都是60时，调整每台executor核心和混洗分区数（默认200），平均18分钟变成了12分钟运行完）

$SPARK_HOME/bin/spark-submit 

--driver-memory 6g 

--conf spark.executor.cores=4 

--conf spark.executor.memory=6g 

--conf spark.kryoserializer.buffer.max=256 

--conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+UseConcMarkSweepGC 

-Dlog4j.configuration=log4j-eir.properties -XX:+UseAdaptiveSizePolicy" 

--conf spark.sql.shuffle.partitions=20 

--files $file  

--class com.test.cs

$BASE_DIR/xx.jar $day  

1>./info.log.$$ 2>./debug.log.$$