hive load insert

2019独角兽企业重金招聘Python工程师标准>>>

本文主要是翻译Hive官网关于Load的解释，原文来源于：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Loadingfilesintotables

介绍
Hive Load语句不会在加载数据的时候做任何转换工作，而是纯粹的把数据文件复制/移动到Hive表对应的地址。

语法
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1,partcol2=val2 ...)]
1
描述
filepath 可以是： 
相对路径，如project/data1
绝对路径，如/user/hive/project/data1
完整的URL，如hdfs://namenode:9000/user/hive/project/data1
目标可以是一个表或是一个分区。如果目标表是分区表，必须指定是要加载到哪个分区。
filepath 可以是一个文件，也可以是一个目录(会将目录下的所有文件都加载)。
如果命令中带LOCAL，表示： 
load命令从本地文件系统中加载数据，可以是相对路径，也可以是绝对路径。对于本地文件系统，也可以使用完整的URL，如file:///user/hive/project/data1
load命令会根据指定的本地文件系统中的filepath复制文件到目标文件系统，然后再移到对应的表
如果命令中没有LOCAL，表示从HDFS加载文件，filepath可以使用完整的URL方式，或者使用fs.default.name定义的值
命令带OVERWRITE时加载数据之前会先清空目标表或分区中的内容，否则就是追加的方式。
--------------------- 

insert 语法格式为：

1. 基本的插入语法：

insert overwrite table tablename [partition(partcol1=val1,partclo2=val2)] select_statement;

insert into table tablename [partition(partcol1=val1,partclo2=val2)] select_statement;

eg：

insert overwrite table test_insert select * from test_table;
insert into table test_insert select * from test_table;

注：
overwrite重写，into追加。

 

2. 对多个表进行插入操作：

from source_table
insert overwrite table tablename1 [partition (partcol1=val1,partclo2=val2)] select_statement1
insert overwrite table tablename2 [partition (partcol1=val1,partclo2=val2)] select_statement2

eg:

from test_table                     
insert overwrite table test_insert1 
select key
insert overwrite table test_insert2
select value;

注：hive不支持用insert语句一条一条的进行插入操作，也不支持update操作。数据是以load的方式加载到建立好的表中，数据一旦导入就不可以修改。

2.通过查询将数据保存到filesystem

insert overwrite [local] directory 'directory' select_statement;

eg:

（1）导入数据到本地目录：

insert overwrite local directory '/home/hadoop/data' select * from test_insert1;

产生的文件会覆盖指定目录中的其他文件，即将目录中已经存在的文件进行删除。

只能用overwrite，into错误！

（2）导出数据到HDFS中：

insert overwrite directory '/user/hive/warehouse/table' select value from test_table;
只能用overwrite，into错误！

（3）同一个查询结果可以同时插入到多个表或者多个目录中：

from source_table
insert overwrite local directory '/home/hadoop/data' select * 
insert overwrite directory '/user/hive/warehouse/table' select value;

 

3. 小结：

（1）insert命令主要用于将hive中的数据导出，导出的目的地可以是hdfs或本地filesysytem，导入什么数据在于书写的select语句。

（2）overwrite与into：

insert overwrite/intotable可以搭配；

insert overwritedirectory可以搭配；

Hive 加载数据主要有两种方式，一种是用Load直接加载文件，可以是从本地文件系统，也可以是从HDFS文件系统；Load方式不做任何的转换，只是纯粹的文件复制移动，关于Load加载详情，请见我的另一篇文章： http://blog.csdn.net/post_yuan/article/details/62883565

除了Load加载数据，Hive也支持Insert命令，下面就来详细介绍Hive不同的版本在Insert方面的支持和改进，

标准语法
INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)](z, y) select_statement1 FROM from_statement;
1
2
3
高级语法(Multiple Inserts)
FROM from_statement
INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1
[INSERT OVERWRITE TABLE tablename2 [PARTITION ...] select_statement2]
[INSERT INTO TABLE tablename2 [PARTITION ...] select_statement2];
1
2
3
4
高级语法(Dynamic Partition Inserts)
INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;
INSERT INTO TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;
1
2
描述
INSERT OVERWRITE会覆盖表或分区中已存在的数据
INSERT INTO以追加数据的方式插入到表或分区，原有数据不会删除
Insert可以插入表或分区，如果表是分区表，则Insert时需要指定插入到哪个分区
从Hive 1.1.0版本，TABLE关键字是可选的
从Hive 1.2.0版本，INSERT INTO可以指定插入到哪些字段中，如INSERT INTO t(x,y,z)
动态分区插入
当INSERT往分区表插入数据时，我们可以指定分区字段名和值，分区字段的值是可选的，如果指定分区字段值，我们称之为静态分区，否则称之为动态分区。动态分区创建根据插入数据的列决定。在Hive 0.9.0版本以前，动态分区插入默认是关闭的，在Hive 0.9.0版本及更高版本，默认是打开的。关于动态分区插入，有几个相关的配置：

参数    默认值    注释
hive.exec.dynamic.partition    true    设置为true表示启用动态分区插入
hive.exec.dynamic.partition.mode    strict    strict模式时用户必须至少指定一个静态分区；nonstrict模式时所有分区都可能是动态分区
hive.exec.max.dynamic.partitions.pernode    100    每个mapper/reducer节点允许创建的最大动态分区数
hive.exec.max.dynamic.partitions    1000    总共允许创建的最大动态分区数
hive.exec.max.created.files    100000    一个MR job中允许创建多少个HDFS文件
hive.error.on.empty.partition    false    当动态分区插入产生空值时是否抛出异常
从查询语句写入到文件系统
Hive支持从查询语句直接写入到文件系统，此处不做详细介绍

INSERT VALUES
Hive 0.14版本开始，支持INSERT…VALUES语法，具体语法如下，

INSERT INTO TABLE tablename [PARTITION (partcol1[=val1], partcol2[=val2] ...)] VALUES values_row [, values_row ...]

values_row:
(value [, value ...])
value可以为null或者任意SQL语法

转载于:https://my.oschina.net/hblt147/blog/2987328