spark row_number() over() 的使用注意事项

spark 中开窗函数 row_number() over()

1. 使用方法

命令格式
row_number() over(partition by <col1>[, <col2>…]
order by <col1>[asc|desc][, <col2>[asc|desc]…])
命令说明
计算行号，从1开始。
参数说明
partition by <col1>[, <col2>…]：至少指定1个开窗口的列。
order by col1[asc|desc][, col2[asc|desc]…]：必填。指定返回结果的排序方式

2. 使用注意

2.1 可以不写 partition by 但是必须要写 order by 否则会报错

org.apache.spark.sql.AnalysisException: Window function row_number() requires window to be ordered, please add ORDER BY clause

2.2 当不写 partition by 的时候会出现以下告警：

No Partition Defined for Window operation! Moving all data to a single partition, this can cause serious performance degradation.

2.3 相同 sql 以及数据源执行多次 row_number 而结果排序不同的具体原因

SQL里，数据本身没有内在的顺序，如果没有order by 或者 order by 字段不唯一确定，那么数据的顺序是未知的，不稳定的，没有所谓的“默认排序
个人理解： order by 不指定的时候会按 sql 默认的排序进行编号，而每次读取源数据是按块或者文件读取，那么每个块内部对应的数据读取先后顺序不一样自然默认排序也不同