【Hive从入门到精通之基础篇】Hive的分区表(比较重要,开发必用)

本文详细介绍了Hive的分区表概念,包括如何提高查询效率,创建与操作分区表,二级分区表的创建及数据加载。同时探讨了数据与分区表关联的三种方法,包括数据上传后的修复、添加指定分区以及使用load命令加载数据。
摘要由CSDN通过智能技术生成

1、何为分区表

(1)基本概念:在Hive中,分区表的意思就是相当于在该表对应的文件夹目录下创建子目录来存储不同该表分区字段对应的数据(简单一句话总结就是hive中的分区表就是分目录存储数据,将一个表的所有数据根据业务来切分成一个个小的数据集来存储)。

(2)分区表数据的查询通过where关键字来指定分区字段来进行查询,这样可以提高查询的效率。


2、分区表的基本操作

(1)创建分区表的语法

create table t_emp_partition(
emp_no int,
emp_name string
)
partitioned by (dt string) # 指定分区字段,粒度可以是按天来分区存储数据或者按月来存储
row format delimited fields terminated by '\t';

(2)通过load命令加载数据到分区表中

load data [local] inpath '数据所在的目录,可以是本地系统或者HDFS文件系统上的目录' into table 库名.表名 partition (dt = '2019-09-16') 

#备注:[local]是可选的,如果是本地系统,则需要加上local关键字,如果是HDFS文件系统上的数据则不用。

(3)查询分区表的数据

select * from t_emp_partition where dt = '2019-09-16&#
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值