spark ALS 使用checkpoint 机制
最近在开发协同过滤组件,运用了spark millb上的协同过滤 ALS算法。在测试过程中遇到了内存溢出的错误,查找了错误位置,发现在训练的时候,迭代次数的增加便会出现这个问题,原因可能是迭代是的计算的数据量指数上升。为了解决这个问题,参考了许多技术文档后总结出一些自己的见解。
1)在ALS模型中运用checkpoint机制
spark checkpoint 机制 个人理解就是在程序中插入一个
原创
2017-08-02 11:14:05 ·
1603 阅读 ·
1 评论