HIVE数据导入和导出方式

数据导入

1. 将数据直接导入上传到表对应HDFS文件夹中

这个方法相对比较简单粗暴,通过hdfs的shell客户端命令,将数据文件直接上传到hdfs文件系统中就可以了.
shell客户端命令:
hdfs dfs /本地路径/所要上传的文件 /hdfs文件系统中的路径

2. 使用load命令

1. 使用命令将本地数据导入到表中
语法:
load data local inpath /path/filename.txt into table tbName;
例子:

2. 使用命令导入HDFS中的数据到表中
语法:
load data inpath /filename.txt into table tbName;
例子:

3. insert插入数据

※使用insert插入语句要注意,插入一次就会在hdfs中生成一个文件※
使用insert插入数据的表格是已经创建好的,如果该表格没有创建,则无法插入数据

1. 一次插入条
语法:
insert into tb_name value(val,val); 这个方法尽量不要使用,会生成大量小文件
2. 一次插入多条
语法:
insert into tb_name value(val,val),(val,val),(val,val);
3. 直接将查询出来的数据插入到另一张表
语法:
insert into tb_name select * from tb_name2;
4. 覆盖插入
语法:
insert overwrite table tb_name select * from tb_name2;

4. import导入数据

使用import的时候要注意 一定是导出的数据才能导入
语法:
将表中数据导出到hdfs中: export table tb_name to ‘/hdfs_path1/’;
再从hdfs中相同路径将数据导入: import table tb_name2 from ‘/hdfs_path1/’;

数据导出

1. insert导出

1.1 将查询结果导入到本地
语法:
insert overwrite local directory ‘/path/’ select * from tb_name;
例子:

1.2 将查询结果格式化导入到本地
语法:
insert overwrite local directory ‘/path’
row format delimited fields terminated by ‘分隔符’
select * from tb_name;
例子:

1.3 将查询数据导出到HDFS
语法:
insert overwrite directory ‘/hive_data/’
row format delimited fields terminated by ‘分隔符’
select * from tb_name;
例子:

2. hadoop命令导出到本地

语法:
dfs -get /path/filename.txt /localpath/;
例子:

3. shell客户端命令导出

语法:
hive -e “sql语句”;
例子:

4. export命令导出到HDFS

语法:
export table db_name.tb_name to ‘/path/’
例子:

以上便是hive中数据的导入和导出方式,导出方式中还有sqoop数据迁移工具,可以将mysql中的数据 导入到HDFS中(hive表的目录下),将HDFS 中的结构化数据(hive表) 导入到mysql的表中,这里不做详细介绍,后续会进行介绍.