使用idea跑本地spark程序WordCount出现内存不足

问题描述

System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration

处理过程

1、看到问题之后我去查看了我得内存配置，发现完全达到要求，但还是出现了内存不足的问题。

2、然后我就猜想可能是我的wordCount程序没有读取我得这个配置，但又不知道为什么没读取到。所以暂时还不知道究竟什么原因导致的。

解决方式

第一种方式：

在创建sparkconf的时候，多设置一个参数，大小只要比他需要的最小内存大即可。

val sparkConf = new SparkConf()
        .set("spark.testing.memory","2147480000")

第二种方式：

在程序配置里面加上内存大小的设置：