(一)Hive排序方法
·ORDER BY
ORDER BY子句用于全局排序,它会将整个查询结果集按照指定的列进行排序。由于需要对整个结果集进行排序,ORDER BY操作可能非常耗费资源,特别是在处理大量数据时。
·示例:
SELECT * FROM employees
ORDER BY salary DESC;
在这个例子中,employees表中的所有数据将按照salary列的值进行降序排序。
·SORT BY
SORT BY子句用于在每个reducer内部进行排序。这意味着如果查询涉及到多个reducer,则每个reducer的输出会分别排序,但整个输出可能不是全局排序的。SORT BY通常与DISTRIBUTE BY子句一起使用,以控制如何将数据分布到不同的reducer上。
·示例:
SELECT * FROM employees
DISTRIBUTE BY department
SORT BY department, salary DESC;
在这个例子中,数据首先按照department列的值进行分发到不同的reducer,然后在每个reducer内部,数据再根据department和salary列的值进行排序。这通常用于在特定分组内进行排序的场景。
·CLUSTER BY
CLUSTER BY是DISTRIBUTE BY和SORT BY的组合,它根据指定的列进行分发和排序。实际上,CLUSTER BY column等价于DISTRIBUTE BY column SORT BY column。
·示例:
SELECT * FROM employees
CLUSTER BY department;
这会将数据按照department列的值分发到reducer,并在每个reducer内部按照department进行排序。