【大数据】Hive 中的批量数据导入

Hive 中的批量数据导入

在博客【大数据】Hive 表中插入多条数据 中，我简单介绍了几种向 Hive 表中插入数据的方法。然而更多的时候，我们并不是一条数据一条数据的插入，而是以批量导入的方式。在本文中，我将较为全面地介绍几种向 Hive 中批量导入数据的方法。

1.从本地文件系统加载（load）数据

load data [local] inpath '路径' [overwrite] into table 表名 [partition (分区字段=值,…)];

• overwrite：表示覆盖表中已有数据，否则表示追加。
• 此种加载方式是数据的复制。

（1）创建一张表。

hive (default)> create table student(id string, name string) 
                row format delimited fields terminated by '\t';

（2）加载本地文件到 Hive。

hive (default)> load data local inpath '/opt/module/datas/student.txt' 
                into table default.student;

2.从 HDFS 文件系统加载（load）数据

从 HDFS 文件系统向表中加载数据，其实就是一个移动文件的操作，需要提前将数据上传到 HDFS 文件系统。

（1）上传文件到 HDFS（Linux 本地 /opt/module/datas/student.txt 文件传到 /user/victor/hive 目录）。

hive (default)> dfs -put /opt/module/datas/student.txt /user/victor/hive;

（2）从 HDFS 文件系统向表中加载数据。

hive (default)> load data inpath '/user/victor/hive/student.txt' 
                into table default.student;

3.通过 as select 向表中插入数据

hive (default)> create table if not exists student3 as select id, name from student;

4.通过 insert into 向表中插入数据

insert into table test [partition(partcol1=val1, partcol2=val2 ...)] select id,name from student;

• insert into：以追加数据的方式插入到表或分区，原有数据不会删除。

insert overwrite table test [partition(partcol1=val1, partcol2=val2 ...)] select id,name from student;

• insert overwrite：覆盖表中已存在的数据。

（1）创建一张分区表。

hive (default)> create table student(id string, name string) 
				partitioned by (month string) 
				row format delimited fields terminated by '\t';

（2）基本插入数据。

hive (default)> insert into table student partition(month='201801') 
				values('1004','wangwu');

（3）基本模式插入（根据单张表查询结果）。

hive (default)> insert overwrite table student partition(month='201802') 
				select id, name from student where month='201801';

（4）多插入模式（只需要扫描一遍源表就可以生成多个不相交的输出）。

hive (default)> from student
             	insert overwrite table student partition(month='201803')
             	select id, name where month='201801'
             	insert overwrite table student partition(month='201804')
             	select id, name where month='201801';

5.通过 location 的方式

直接将数据文件上传到 location 指定的 HDFS 的目录下；

（1）创建表，并指定在 HDFS 上的位置。

hive (default)> create external table student(id int, name string)
             	row format delimited fields terminated by '\t'
             	location '/user/hive/warehouse/student';

（2）上传数据到 HDFS 上。

hive (default)> dfs -mkdir -p /user/hive/warehouse/student;
hive (default)> dfs -put /opt/module/datas/student.txt /user/hive/warehouse/student;

（3）查询数据。

select * from student;