Hive 数据排序

（一）Hive排序方法

·ORDER BY

ORDER BY子句用于全局排序，它会将整个查询结果集按照指定的列进行排序。由于需要对整个结果集进行排序，ORDER BY操作可能非常耗费资源，特别是在处理大量数据时。

·示例：

SELECT * FROM employees

ORDER BY salary DESC;

在这个例子中，employees表中的所有数据将按照salary列的值进行降序排序。

·SORT BY

SORT BY子句用于在每个reducer内部进行排序。这意味着如果查询涉及到多个reducer，则每个reducer的输出会分别排序，但整个输出可能不是全局排序的。SORT BY通常与DISTRIBUTE BY子句一起使用，以控制如何将数据分布到不同的reducer上。

·示例：

SELECT * FROM employees

DISTRIBUTE BY department

SORT BY department, salary DESC;

在这个例子中，数据首先按照department列的值进行分发到不同的reducer，然后在每个reducer内部，数据再根据department和salary列的值进行排序。这通常用于在特定分组内进行排序的场景。

·CLUSTER BY

CLUSTER BY是DISTRIBUTE BY和SORT BY的组合，它根据指定的列进行分发和排序。实际上，CLUSTER BY column等价于DISTRIBUTE BY column SORT BY column。

·示例：

SELECT * FROM employees

CLUSTER BY department;

这会将数据按照department列的值分发到reducer，并在每个reducer内部按照department进行排序。

（二）Hive分组聚合