spark数据量过大导致：java.lang.OutOfMemoryError: Java heap space

问题分析：

原因一：executor内存不够 
原因二：driver内存不够

解决方法

方法一：直接在应用程序中修改内存大小

conf.set('spark.executor.memory','32g').set('spark.driver.memory','32g')

memory尽量设大

方法二：spark.default.conf中修改

spark.driver.memory 15g

方法三：spark-submit提交时修改

./spark-submit \
    --master spark://192.168.1.102:7077
    --num-executors 4
    --executor-memory 20G
    --executor-cores 8
    --driver-memory 15G
    --conf spark.default.parallelism=100
    *.py