问题:
ERROR org.apache.spark.scheduler.cluster.YarnClusterScheduler - Lost executo
ERROR org.apache.spark.executor.Executor: Exception in task 0.0 in stage 1.0 (TID 8): Java heap space
可以增加:
其实还是资源问题,将executor内存给大点,executor数量也大点,问题就解决了,具体配置根据自己集群情况分配调试
后来又出现了了这种问题,资源给大也解决不了问题,最后通过各种尝试,发现增大partition数量,问题就解决了。参数:.config(“spark.sql.shuffle.partitions”, 500),原本默认是200,这里增大到500.
或则直接:
set spark.executor.memory=7g;