pyspark dataframe 去重方法 pyspark dataframe 去重 整行去重 某一列或者多列相同的去除重复 pyspark dataframe 去重 两种去重,一种是整行每一项完全相同去除重复行,另一种是某一列相同去除重复行。 整行去重 dataframe1 = dataframe1.distinct() 某一列或者多列相同的去除重复 df = df.select("course_id", "user_id", "course_name") # 单列为标准 df1 =