运行 Spark ALS 程序内存溢出

最新推荐文章于 2023-10-18 22:51:35 发布

原创

最新推荐文章于 2023-10-18 22:51:35 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #als

在运行包含20几条记录的Spark ALS程序时，出现内存溢出问题，无论是在本地、单机服务器还是换电脑都存在此问题。删除应用程序后首次运行通常能成功，但第二次运行会失败。通过增加VM选项-Xmx10G暂时解决问题，且能处理30M文件。代码中笛卡尔积的存在会导致内存不足，移除后情况改善。

执行这个20几条记录，机器就会内存溢出，在本地、单机服务器都是这样。换个电脑也是这样。

8/10/31 22:18:26 ERROR SparkUncaughtExceptionHandler: Uncaught exception in thread Thread[Executor task launch worker for task 353,5,main]
java.lang.StackOverflowError
	at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1707)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2000)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:422)
	at scala.collection.immutable.List$SerializationProxy.readObject(List.scala:479)
	at sun.reflect.GeneratedMethodAccessor4.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	
Process finished with exit code 50

后来也改了代码，还会这样。不过才这么几条数据，就内存溢出，讲不通啊。
后来找到一个临时解决方法，就是删除这个application，重新运行。

删除后的第一次运行基本都能运行成功。第二次运行就会失败。
那么然后就在VM option 里