pyspark
利用pyspark分析数据
#码到成功#
这个作者很懒,什么都没留下…
展开
-
pyspark.sql之利用pivot实现行转列
简述使用pivot函数进行透视,透视过程中可以提供第二个参数来明确指定使用哪些数据项注意:pivot只能跟在groupby之后示例有如下数据df = spark.createDataFrame([("李明","语文",82),("李明","数学",90),("李明","英语",75) ,("陈凯","语文",71),("陈凯","数学",83),("陈凯","英语",66) ,("王莉","原创 2022-03-17 17:21:21 · 3408 阅读 · 0 评论 -
pyspark.sql之实现collect_list的排序
简述通过利用pyspark.sql.Window实现collect_list的排序示例有如下数据df.show()+----+-------+-----+|name|subject|score|+----+-------+-----+|李明| 语文| 82||李明| 数学| 90||李明| 英语| 75||陈凯| 语文| 71||陈凯| 数学| 83||陈凯| 英语| 66||王莉| 语文| 85||王莉| 数学|原创 2022-03-17 17:09:24 · 1904 阅读 · 0 评论