ERROR org.apache.spark.executor.Executor: Exception in task 0.0 in stage 1.0 (TID 8): Java heap spac

问题：

ERROR org.apache.spark.scheduler.cluster.YarnClusterScheduler - Lost executo

ERROR org.apache.spark.executor.Executor: Exception in task 0.0 in stage 1.0 (TID 8): Java heap space

可以增加：
其实还是资源问题，将executor内存给大点，executor数量也大点，问题就解决了，具体配置根据自己集群情况分配调试
后来又出现了了这种问题，资源给大也解决不了问题，最后通过各种尝试，发现增大partition数量，问题就解决了。参数：.config(“spark.sql.shuffle.partitions”, 500)，原本默认是200，这里增大到500.
或则直接：
set spark.executor.memory=7g;