6. Hive技术之DML数据操作

Hive技术之DML数据操作

清除表中数据（Truncate）：Truncate 只能删除管理表，不能删除外部表中数据

truncate table student;

1. 数据导入

1.1 向表中装载数据（Load）

语法：

load data [local] inpath '/opt/module/data/student.txt' [overwrite] into table student [partition (partcol1=val1,…)];

1. load data:表示加载数据
2. local:表示从本地加载数据到 hive 表；否则从 HDFS 加载数据到 hive 表
3. inpath:表示加载数据的路径
4. overwrite:表示覆盖表中已有数据，否则表示追加
5. into table:表示加载到哪张表
6. student:表示具体的表
7. partition:表示上传到指定分区

#创建一张表
create table student(id string, name string) 
row format delimited fields terminated by '\t';

#加载本地文件到 hive
load data local inpath '/opt/module/data/student.txt' into table default.student;

1.2 通过查询语句向表中插入数据（Insert )

#创建一张分区表
create table student_part(id int, name string) partitioned by (month string) 
row format delimited fields terminated by '\t';

#基本插入数据
insert into table student_part partition(month='202007') values(1,'mm');

#基本模式插入（根据单张表查询结果）
insert overwrite table student_part partition(month='202008')
select id, name from student;

#多插入模式（根据多张表查询结果）
from student_part
insert  overwrite  table  student partition(month='202009')
select id, name where month='202007'
insert  overwrite  table  student partition(month='202009')
select id, name where month='202008';

1.3 查询语句中创建表并加载数据（As Select ）

#根据查询结果创建表（查询的结果会添加到新创建的表中）
create table if not exists student_smm as select id, name from student;

1.4 创建表时通过 Location 指定加载数据

#创建表，并指定在 hdfs 上的位置
create table if not exists student_cmm(id int, name string)
row format delimited fields terminated by '\t'
location '/user/hive/warehouse/student_cmm';

#上传数据到 hdfs 上
dfs -put /opt/module/data/student.txt /user/hive/warehouse/student_cmm;

#查询数据
select * from student_cmm;

2. 数据导出

2.1 Insert 导出

#将查询的结果导出到本地
insert  overwrite  local  directory '/opt/module/data/export/student_bk_01'
select * from student;

#将查询的结果格式化导出到本地
insert overwrite local directory '/opt/module/data/export/student_bk_02'
row format delimited fields terminated by "\t"
select * from student;

#将查询的结果导出到 HDFS 上(没有 local)
insert overwrite directory '/user/atguigu/hive/student_kb'
row format delimited fields terminated by "\t"
select * from student;

2.2 Hadoop 命令导出到本地

dfs -get /user/hive/warehouse/student /opt/module/data/export/student_bk_01.txt;

2.3 Hive Shell 命令导出

#基本语法：（hive -f/-e 执行语句或者脚本 > file）
bin/hive  -e  'select  *  from default.student;' >> /opt/module/data/export/student_bk_02.txt;

2.4 Sqoop

后续专门说…

3. Export导出和导入数据

3.1 Export 导出到 HDFS

export table default.student to '/user/hive/warehouse/student_export';

3.2 Export 导入指定Hive表中

注意：先用 export 导出后，再将数据导入。

import table student_export from '/user/hive/warehouse/student_export';

☆