解决 Spark 本地模式 out of memory 和磁盘不足问题

在做Kaggle比赛的时候,中间处理之后的训练数据有5000多万条数据,结果Spark 本地模式运行的时候,一直报出out of memory 问题。我在程序中使用了DataFrame.rdd.collect()方法。RDD的Collect()方法把RDD的数据全部放入到数组中进行返回,5000多万条数据全部放入到数组当中进行返回。当然会内存溢出。

通过打印GC日志发现,Eden区域和老年代的空间使用全部都是100%。没办法,电脑8g内存,我通过调大堆的内存,发现还是内存溢出,内存还是不够存下这么多条数据。我想了一下解决方法。

解决方法1

这是一种简单暴力的方法,自己可以再去买一个8G内存条,然后把堆得空间通过-Xms??M -Xmx??M -Xmn??M来设置尽可能大一点。尽量设置为最大的空间。这样看看能不能解决,如果还是不能解决的话,说明你的数据太大了。

解决方法2

我调用RDD重新分区函数将RDD重新分为了20个分区,然后通过RDD的saveAsTextFile方法将它们存到了20个文件当中去了。然后,跑程序的时候,我一个文件一个文件的来进行读取。然后一行一行的使用数据。结果是程序可以跑了,但是非常慢。没钱买内存条,只用这种方法。

解决方法2运行到3000多万条数据的时候,发现程序运行的很慢,通过jstat命令发现新生代的内存用完了。这块我还在考虑,等我之后想到了完美的办法,在来完善这个问题。

磁盘空间不足问题

另外我在Spark上面进行微博数据处理的时候,突然报出了这样的错误:磁盘空间不足。我处理的微博数据大概有5.3G。在这里我上网查了一下,原来Spark把中间计算的结果放在了本地磁盘,默认的位子是在C盘下面,而我自己的C盘下面的磁盘空间非常少了,所以导致了中间计算结果存不下来。所以报出了磁盘空间不足的错误,这里我们只要设置一下中间结果保存的路径即可.在sparkConf中设置参数spark.local.dir的值即可。下面是解决方法:

//后面的值是你要存放的路径
sparkConf.set(“spark.local.dir”,”S:\TempData”)

这里就解决了磁盘空间不足的问题,当然这里是Windows Spark本地模式的磁盘空间不足解决方法,估计来Linux里面也可以采用相似的方法来解决。

  • 5
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值