hive学习笔记之五：分桶，别再说你不会

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

《hive学习笔记》系列导航

1. 基本数据类型

2. 复杂数据类型

3. 内部表和外部表

4. 分区表

5. 分桶

6. HiveQL基础

7. 内置函数

8. Sqoop

9. 基础UDF

10. 用户自定义聚合函数(UDAF)

11. UDTF

本篇概览

本文是《hive学习笔记》的第五篇，前文学习了分区表，很容易发现分区表的问题：

1. 分区字段的每个值都会创建一个文件夹，值越多文件夹越多；

2. 不合理的分区会导致有的文件夹下数据过多，有的过少；

此时可以考虑分桶的方式来分解数据集，分桶原理可以参考MR中的HashPartitioner，将指定字段的值做hash后，根据桶的数量确定该记录放在哪个桶中，另外，在join查询和数据取样时，分桶都能提升查询效率；

• 接下来开始实战；

配置

1. 执行以下设置，使得hive根据桶的数量自动调整上一轮reducers数量：

set hive.enforce.bucketing = true;

2. 如果不执行上述设置，您需要自行设置mapred.reduce.tasks参数，以控制reducers数量，本文咱们配置为hive自动调整；

准备数据

接下来先准备外部表t13，往里面添加一些数据，将t13作为后面分桶表的数据源：

1. 表名t13，只有四个字段：

create external table t13 (name string, age int, province string, city string)

row format delimited

fields terminated by ‘,’

location ‘/data/external_t13’;

2. 创建名为013.txt的文件，内容如下：

tom,11,guangdong,guangzhou

jerry,12,guangdong,shenzhen

tony,13,shanxi,xian

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注Java）

最后

学习视频：

大厂面试真题：

mg-jADaYpT5-1711628321194)]

最后

学习视频：

[外链图片转存中…(img-LiDvvmLs-1711628321194)]

大厂面试真题：

[外链图片转存中…(img-66klBq91-1711628321194)]