- 博客(2)
- 收藏
- 关注
RSS订阅原创 scala处理数据遇到cannot resolve ‘`goodreads_book_id`‘ given input columns: []；
我是使用的scala连接mangodb数据库进行数据处理，在其中一部分数据处理时由于数据量大，所以喜欢在后面加上.catch使数据持久化，在对另一段代码中两个三个数据库使用spark.sql进行left join时，对从MongoDB读取的数据进行了再次持久化，这也就导致了出现了如上报错，刚开始在网上疯狂找答案，有说csv文件导入出的错，所以我将它换成了txt文件导入，然并卵，所以我用回了csv，但是我看我前段代码，使用spark.sql并没有事，我就用两段代码比对，发现是我使用了.catch导致输出的数据
2023-04-20 22:16:02
1306
1
原创 使用spark训练模型遇到堆栈越界和CG报错
刚开始准备用这段代码训练，但是电脑配置实在跟不上，就不断地减少rank和iterations，同时增大lambda，然而用处不大，后面使用如下代码。最后在虚拟机选项处添加-Xmx10G能保证项目正常CG正常回收，完成代码运行。来改变运行配置，然而，CG回收仍然跟不上。
2023-04-09 19:24:44
117
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人