本文详细介绍了 Hive 中的 ORDER BY, SORT BY, DISTRIBUTE BY, CLUSTER BY 以及 BUCKET 桶表的概念和用法。ORDER BY 实现全局排序，但可能导致计算时间长；SORT BY 只保证每个 reducer 内部的顺序；DISTRIBUTE BY 控制数据分发到 reducer，配合 SORT BY 可确保内部顺序；CLUSTER BY 结合两者功能；BUCKET 桶表提供采样和高效 MapSide Join 支持，通过 DDL 管理数据分布，有助于解决数据倾斜和小文件问题。"
139496815,11421163,微信小程序表单验证与数据提交实战,"['微信小程序', '前端开发']
大家好，我是明哥！
本片文章，我们来总结下，HIVE 中的 order/sort/cluster/distribute by 和 BUCKET 桶表
1 ORDER BY
ORDER BY 会对 SQL 的最终输出结果数据做全局排序;
ORDER BY 底层只会有一个Reducer 任务 (多个Reducer无法保证全局有序)；
当然只有一个 Reducer 任务时，如果输入数据规模较大，会消耗较长的计算时间；
ORDER BY 默认的排序顺序是递增 ascending (ASC).
示例语句：select distinct cust_id,id_no,part_date from ads_api_cda_basic_info_parquet_pt order by cust_id;
2 SORT BY
SORT BY 不是对 SQL 的最终输出结果数据做排序，而是对 MAP 端的输出数据，在进入 reducer 前，根据指定的字段进行排序；
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
