- 博客(1)
- 资源 (2)
- 收藏
- 关注
原创 失败的sparkSql使用问题记录
问题1、为什么很大的表,最里层的map只用1094个task呢?导致一直gc, 最后失败。 问题2,用row获取数据的时候,在sql中聚合的结果到底是integer还是long呢,总报数据类型转换错误,全改成Integer不对,全改成long也不对(这是在第一个问题换成极小的数据后发现的问题。。。df,schema看一下schema可以解决,但是第一个解决不了我就懒得看了。。
2017-05-02 22:11:16 3399 2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人