liuwei063608的专栏

刘伟的随笔

CheckPoint的一些探寻

由于上项目的模块计算部分依赖于spark,那么在spark的使用上,需要针对不同规模和形式的数据,都要能最大限度的做到数据变换,模型计算等计算的稳定性支持。这也是elemental目前急需优化的瓶颈所在。这里,我们针对下面的场景所遇到的问题进行一部分探讨: 在数据规模过大,无法cache到mem...

2018-04-03 16:56:35

阅读数:39

评论数:0

spark2.3.0 的agg 方法现在限制数量

spark2.3.0 的agg 方法现在限制数量,30个可以,60个不可以,记录一下 以后agg超过30个之后需要分次处理 原代码 scala val intervalCollectArr = df.agg(cols.toArray.head, cols.toArray....

2018-03-28 14:58:46

阅读数:65

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭