pyspark orderBy 后dropDuplicates 保留第一个数据

一、pandas 可以取第一个

df = df.sort_values(by=['uid', 'aid']).drop_duplicates(subset=['aid'], keep='first')

二、pyspark 无法通过这种方式取第一个

orderBy( [ 'uid', 'aid'], ascending=[ 0,  0, 0]).drop_duplicates( [ 'uid'])

解决方案：

window = Window.partitionBy(['uid']).orderBy(['uid'])
df.withColumn('rank', F.rank().over(window)).filter("rank= '1'").drop('rank')

注意
F.rank()：计算排序时，如果存在相同位次的记录，则会跳过之后的位次。
F.dense_rank函数：同样是计算排序，即使存在相同位次的记录，也不会跳过之后的位次。
F.row_number函数：赋予唯一的连续位次。