运行 Spark ALS 程序 内存溢出

在运行包含20几条记录的Spark ALS程序时,出现内存溢出问题,无论是在本地、单机服务器还是换电脑都存在此问题。删除应用程序后首次运行通常能成功,但第二次运行会失败。通过增加VM选项-Xmx10G暂时解决问题,且能处理30M文件。代码中笛卡尔积的存在会导致内存不足,移除后情况改善。
摘要由CSDN通过智能技术生成

执行这个20几条记录,机器就会内存溢出,在本地、单机服务器都是这样。换个电脑也是这样。

8/10/31 22:18:26 ERROR SparkUncaughtExceptionHandler: Uncaught exception in thread Thread[Executor task launch worker for task 353,5,main]
java.lang.StackOverflowError
	at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1707)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2000)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:422)
	at scala.collection.immutable.List$SerializationProxy.readObject(List.scala:479)
	at sun.reflect.GeneratedMethodAccessor4.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	
Process finished with exit code 50

后来也改了代码,还会这样。不过才这么几条数据,就内存溢出,讲不通啊。
后来找到一个临时解决方法,就是删除这个application,重新运行。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值