【Spark】Spark Dataframe 常用操作（一行数据映射为多行）_spark 一行变多行(1)

2401_84181731

于 2024-05-06 19:26:48 发布

阅读量1k

点赞数 11

分类专栏：程序员文章标签： spark 大数据分布式

本文链接：https://blog.csdn.net/2401_84181731/article/details/138505473

版权

4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, stddev, min, and max)，这个可以传多个参数，中间用逗号分隔，如果有字段为空，那么不参与运算，只这对数值类型的字段。3、 agg(aggExpr: (String, String), aggExprs: (String, String)) 返回dataframe类型，同数学计算求值。3、 count() 返回一个number类型的，返回dataframe集合的行数。

摘要由CSDN通过智能技术生成

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

具体示例：对文件中某一列的空值进行统计过滤，并实现一行数据映射为多行

scala> uf.filter(col("friends").isNotNull).select(col("user"),col("friends")).show(3)
+----------+--------------------+
|      user|             friends|
+----------+--------------------+
|3197468391|1346449342 387324...|
|3537982273|1491560444 395798...|
| 823183725|1484954627

最低0.47元/天解锁文章

2401_84181731

关注

11
点赞
踩
25

收藏

觉得还不错? 一键收藏
0
评论
【Spark】Spark Dataframe 常用操作（一行数据映射为多行）_spark 一行变多行(1)

4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, stddev, min, and max)，这个可以传多个参数，中间用逗号分隔，如果有字段为空，那么不参与运算，只这对数值类型的字段。3、 agg(aggExpr: (String, String), aggExprs: (String, String)) 返回dataframe类型，同数学计算求值。3、 count() 返回一个number类型的，返回dataframe集合的行数。
复制链接

扫一扫