向hive表插入数据如何自动分区

最新推荐文章于 2024-07-27 11:00:39 发布

CaptainDing

最新推荐文章于 2024-07-27 11:00:39 发布

阅读量4k

点赞数

分类专栏： Hive 文章标签： hive hql 导入数据

本文链接：https://blog.csdn.net/u012061196/article/details/84953363

版权

本文详细介绍了如何向Hive表中进行数据插入，包括从本地文件导入到分区表，通过HQL查询插入，动态分区插入以及动态和静态分区的结合使用。特别提示，Hive分区名称必须为英文，避免导入错误。

摘要由CSDN通过智能技术生成

首先强调一下，分区的名称不能是中文，只能是英文！不然会报错。

1. 本地文件导入到分区表


LOAD DATA 【LOCAL】 INPATH ‘....’ 【OVERWRITE】 INTO TABLE t1 【PARTITION (...)】  
eg: load data local inpath '/usr/local/data/user' into table jiuye partition(grade='1');

2. 丛hive查询插入

INSERT OVERWRITE TABLE t2 PARTITION (day=2) SELECT * FROM t1;

3. 动态分区插入

set  hive.exec.dynamic.partition=true;  
set  hive.exec.dynamic.partition.mode=nonstrict;  
set  hive.exec.max.dynamic.partitions.pernode=1000;  
INSERT OVERWRITE TABLE t2 PARTITION (province, city) SELECT ....... , a.province, a.city FROM a;  
  
注意：  
动态分区字段一定要放在所有静态字段的后面，这里业务字段在前，最后 a.province, a.city作为动态分区字段会被赋到PARTITION (province, city)中  
INSERT OVERWRITE TABLE t2