Hive>分区剪裁、列剪裁

最新推荐文章于 2024-08-07 00:52:45 发布

BigMoM1573

最新推荐文章于 2024-08-07 00:52:45 发布

阅读量2.4k

点赞数 1

分类专栏： Hive 文章标签： Hive

本文链接：https://blog.csdn.net/qq_44509920/article/details/103352460

版权

本文介绍了Hive查询中的分区剪裁和列剪裁优化策略。强调在SELECT中避免使用SELECT *，提倡根据需求选择列，并指出在进行外关联时，应在ON后面放置分区过滤条件，以避免全表关联。通过正确使用分区和列剪裁，可以显著提升查询效率。

摘要由CSDN通过智能技术生成

使用分区剪裁、列剪裁

在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *。

在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤，比如：
环境准备：

创建表1
create table ori(id bigint, time bigint, uid string, keyword string, url_rank int, click_num int, click_url string) row format delimited fields terminated by '\t';

创建表2
create table bigtable(id bigint, time bigint, uid string, keyword string, url_rank int, click_num int, click_url string) row format delimited fields te