- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark dataframe创建&操作总结
DataFrame 的函数Action 操作1、 collect() ,返回值是一个数组，返回dataframe集合所有的行2、 collectAsList() 返回值是一个Java类型的数组，返回dataframe集合所有的行3、 count() 返回一个number类型的，返回dataframe集合的行数4、 describe(cols: String*) 返回一个通过数学
2017-05-25 10:02:21
1464
1
原创 Dataframe中na.fill的用法
对两个数据表如A，B取JOIN操作的时候，其结果往往会出现NULL值的出现。 这种情况是非常不利于后续的分析与计算的，特别是当涉及到对这个数值列进行各种聚合函数计算的时候。 Spark为此提供了一个高级操作，就是：na.fill的函数。 其处理过程就是先构建一个MAP，如下： val
2017-05-14 14:07:37
11981
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人