SPARK
weixin_42252147
这个作者很懒,什么都没留下…
展开
-
记录一些自己学习的Scala语法
记录一些自己学习的Scala语法原创 2020-04-15 10:58:03 · 131 阅读 · 0 评论 -
一些PYSPARK常用的方法
1.去重且保留最大/小值:from pyspark.sql import functions as Fdf.groupby(['columns1','columns2']).agg(F.max/min(column_name))2.将df按照某一列排序,取前n列from pyspark.sql.window import Windowdf.withColumn('rownumb...原创 2020-04-07 10:55:06 · 396 阅读 · 0 评论