Spark开窗函数降序排列导致Unsupported literal type class scala.runtime.BoxedUnit()异常
数据示例
假设spark的Dataframe中存在两列数据,分别为id — 代表编号,weight — 代表重量。数据中可能存在同一id对应多个weight的情况。需要根据id进行分组,并保留weight重量最大的数据。
id | weight |
---|---|
1 | 0.8 |
2 | 0.3 |
3 | 0.4 |
2 | 0.6 |
窗口排序
实现上述需求,可以使用spark dataframe的开窗函数,并且由于需要使用降序排列,所以需要使用
col().desc
方法。
// 开窗函数实现降序排列
val windowSpec = Window.partitionBy("id").orderBy(col("weight").desc)
// 使用开窗函数在dataframe中新增rank列,根据weight的排序设置序号
df.withColumn("rank", row_number().over(windowSpec))
// 将降序排序第一的数据保留
.filter(col("rank") === 1)
// 将新增的rank列丢弃,还原数据格式
.drop("rank")
但是在实际报错中会出现User class threw exception: java.lang.RuntimeException: Unsupported literal type class scala.runtime.BoxedUnit()
异常
问题解决
猜测导致此问题的原因是:由于数据可能会存在null值,导致排序失败。所以需要使用另一个降序方法col().desc_null_last
或col().desc_null_first
。分别代表,存在null值将null排列到最后或者最前。
(具体报错原因未知,如果有人知道可以评论区交流一下)
将上述代码更改为
// 开窗函数实现降序排列
val windowSpec = Window.partitionBy("id").orderBy(col("weight").desc_null_last)
// 使用开窗函数在dataframe中新增rank列,根据weight的排序设置序号
df.withColumn("rank", row_number().over(windowSpec))
// 将降序排序第一的数据保留
.filter(col("rank") === 1)
// 将新增的rank列丢弃,还原数据格式
.drop("rank")
能够正常运行并且得到预期结果,问题解决
id | weight |
---|---|
1 | 0.8 |
2 | 0.6 |
3 | 0.4 |