HIVE数据导入导出

HIVE数据导入导出

导入数据

1、location

(1)将数据上传到到hdfs上的一目录中

# 将table_a.txt上传到HDFS的/demo/data/table_a目录中
hdfs dfs -put table_a.txt /demo/data/table_a;

(2)创建表时指定数据在hdfs上的位置

create table if not exists tb_a(
id int,
name string,
gender string,
age int
)
row format delimited fields terminated by ','
location '/demo/data/table_a'; -- 指定数据在hdfs上的/demo/data/table_a目录中

2、-put

先创建表，然后在利用hdfs的-put命令将数据上传到hdfs表所在目录

# 直接将原始数据上传到表tb_a所在目录
hdfs dfs -put table_a.txt /user/hive/warehouse/doit.db/tb_a

3、load

hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)];
/*
[]:表示其中的内容可以写或者不写
load data:表示加载数据
local :表示从本地加载数据到hive表，否则从HDFS加载数据到hive表
inpath：表示加载数据的路径
overwrite:表示覆盖表中已有的数据，否则表示追加
into table:表示加载到哪张表
student:具体的表名
partition:表示上传到指定的分区
*/

例子

-- 将本地数据加载到tb_teacher表中
load  data local inpath  "/data/user/" into table tb_teacher ;
-- 将HDFS中的数据加载到tb_teacher表中
load  data inpath  "/data/user/" into table tb_teacher ;
-- 将本地数据加载到tb_teacher表中，并且覆盖原先表中已有的数据
 load  data local inpath '/data/'  overwrite into table tb_user ;

4、insert

在表已经存在的前提下，通过查询语句向表中导入数据

-- 将tb_user表中gender为F的所有数据导入到tb_user2中
insert into tb_user2 select * from tb_user where gender='F';

多插入模式：只需要扫描一遍原始数据表，就能将需要的数据插入到相应的表中

-- 将from语句到最前面，一次扫描，表tb_b、tb_c、tb_d就能获取到在tb_a中满足条件的数据
from tb_a
insert overwrite table tb_b
select * where salary>6000
insert overwrite table tb_c
select * where age>35
insert overwrite table tb_d
select * where age>20 and age<=35;

5、建表导入数据

根据查询结果创建表，查询的结果会插入到新创建的表中

-- 创建一个tb_b表，将查询到的结果插入到tb_b表中
create table tb_b as select * from tb_a; 

6、Import

import数据到指定的HIVE表中

注意：先用export导出后，再将数据导入。

-- 将HDFS中的数据导入到tb_user表中
import table tb_user from "/demo/data/user"

导出数据

1、insert

-- 将查询的结果导出到本地，结果用默认的分隔符隔开，
insert overwrite local directory '/data/student_1' select * from student;

-- 将查询的结果格式化导出到本地,结果用“，”分隔开
insert overwrite local directory '/data/student_2'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select * from student;

--将查询的结果导出到HDFS上(没有local)
insert overwrite directory '/demo/data/student_3'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'  select * from student;

2、hadoop命令

利用hadoop命令将表中的数据导出到本地

-- 在hive上直接使用hadoop命令将数据直接导出到本地，通过这种方式导出的是原始的表数据
dfs -get /user/hive/warehouse/student/month=201709/000000_0
/data/student/studen.csv;

3、shell（常用）

shell脚本或命令导出

# 基本语法
hive -e 执行语句 > file 
hive -f 执行脚本文件 > file # 可以写在定时器里，每天定时获取数据

例子

-- 先切换数据库，然后再查询tb_a表的所有数据，写入res1.txt文件中
hive -e 'use doit;select * from tb_a' > res1.txt

准备脚本test.cmd

use doit;
select * from yg
where uid>2;

用命令执行脚本

# 执行脚本，将结果写入res2.txt
hive -f test.cmd > res2.txt

定时器执行脚本

[root@linux01 output]# crontab -e    #用vi编辑定时器内容
# 每天0点将查询的数据写入/data/usr/output/res3.txt文件中
* 0 * * * /opt/apps/hive3.1.2/bin/hive -f /data/usr/output/test.cmd >> /data/usr/output/res3.txt

4、export

和导入数据import是对应的

-- 将数据库doit中表tb_a的数据导入HDFS上demo/export/table_a目录下
export table doit.tb_a to '/demo/export/table_a';