Spark开窗函数降序排列desc导致Unsupported literal type class scala.runtime.BoxedUnit()异常

Spark开窗函数降序排列导致Unsupported literal type class scala.runtime.BoxedUnit()异常

数据示例

假设spark的Dataframe中存在两列数据，分别为id — 代表编号，weight — 代表重量。数据中可能存在同一id对应多个weight的情况。需要根据id进行分组，并保留weight重量最大的数据。

id	weight
1	0.8
2	0.3
3	0.4
2	0.6

窗口排序

实现上述需求，可以使用spark dataframe的开窗函数，并且由于需要使用降序排列，所以需要使用
col().desc方法。

// 开窗函数实现降序排列
val windowSpec = Window.partitionBy("id").orderBy(col("weight").desc)
// 使用开窗函数在dataframe中新增rank列，根据weight的排序设置序号
df.withColumn("rank", row_number().over(windowSpec))
  // 将降序排序第一的数据保留
  .filter(col("rank") === 1)
  // 将新增的rank列丢弃，还原数据格式
  .drop("rank")

但是在实际报错中会出现User class threw exception: java.lang.RuntimeException: Unsupported literal type class scala.runtime.BoxedUnit()异常

问题解决

猜测导致此问题的原因是：由于数据可能会存在null值，导致排序失败。所以需要使用另一个降序方法col().desc_null_last或col().desc_null_first。分别代表，存在null值将null排列到最后或者最前。
（具体报错原因未知，如果有人知道可以评论区交流一下）
将上述代码更改为

// 开窗函数实现降序排列
val windowSpec = Window.partitionBy("id").orderBy(col("weight").desc_null_last)
// 使用开窗函数在dataframe中新增rank列，根据weight的排序设置序号
df.withColumn("rank", row_number().over(windowSpec))
  // 将降序排序第一的数据保留
  .filter(col("rank") === 1)
  // 将新增的rank列丢弃，还原数据格式
  .drop("rank")

能够正常运行并且得到预期结果，问题解决

id	weight
1	0.8
2	0.6
3	0.4