第5章 DML 数据操作
第5章 DML数据操作
5.1 数据导入
5.1.1 向表中装载数据(Load)
1.基本语法
hive(default)> load data [local] inpath '数据的path' [overwrite] into table table_name [partition (partcol1=val1,…)];
// 加local则是从本地家在数据,不加local则是从hdfs加载数据
// 加overwrite则是覆盖写,不加overwrite则是末尾追加写
2.实操案例
(1)创建一张表student
hive (default)> create table student(
id string,
name string
)
row format delimited fields terminated by '\t';
(2)加载本地文件到hive的student表中 (local)
hive (default)> load data local inpath '/opt/module/hive/datas/student.txt' into table default.student;
(3)加载HDFS文件到hive中(不加local)
① 上传文件到HDFS
hive (default)> dfs -put /opt/module/hive/datas/student.txt /input;
② 从HDFS上加载(追加)数据到表中
hive (default)> load data inpath '/input/student.txt' into table default.student;
(4)从本地加载数据覆盖表中已有的数据(overwrite)
hive (default)> load data inpath '/input/student.txt' overwrite into table default.student;
FAILED: SemanticException Line 1:17 Invalid path ''/input/student.txt'': No files matching path hdfs://hadoop102:8020/input/student.txt
竟然报错了,信息显示文件不存在?
显然,加载HDFS上的文件到hive表中,采用的类似剪切的方式,将文件拷贝到表的映射目录下。
再将上传文件到HDFS
hive (default)> dfs -put /opt/module/hive/datas/student.txt /input;
重新从HDFS上加载数据
hive (default)> load data inpath '/input/student.txt' overwrite into table default.student;
此时再查看表中数据是否被覆盖。
5.1.2 向表中插入数据(Insert)
1)创建一张表 (create)
hive (default)> create table student2(id int, name string) row format delimited fields terminated by '\t';
2)基本插入数据 (insert into )
hive (default)> insert into table student2 values(1,'wangwu'),(2,'zhaoliu');
3)将查询结果插入表中 (insert overwirte … select …from …)
hive (default)> insert overwrite table student2 select id, name from student ;
Insert into: | 以追加数据的方式插入到表或分区,原有数据不会删除 |
---|---|
Insert overwrite: | 会覆盖表中已存在的数据 |
注意:insert不支持插入部分字段。
5.1.3 查询语句中创建表并加载数据(As Select)
根据查询结果创建表(查询的结果会添加到新创建的表中)
hive(default)> create table if not exists student4
as select id, name from student;
5.1.4 创建表时通过Location指定加载数据路径
1)上传数据到hdfs上
hive (default)> dfs -mkdir /input/student;
hive (default)> dfs -put /opt/module/hive/datas/student.txt /input/student/student.txt;
2)创建表,并指定在hdfs上的位置
hive (default)> create external table if not exists student5(
id int,
name string
)
row format delimited fields terminated by '\t'
location '/input/student';
3)查询数据
hive (default)> select * from student5;
OK
student5.id student5.name
1001 ss1
1002 ss2
……
注意:hive创建表时,默认时将表的名字作为默认HDFS上表对应的存储路径的名字,但是,如果你通过localtion指定存储路径,就不会修改路径名字为表名了。如上边的表名为student5和其在HDFS上的存储路径student。
5.2 数据导出
5.2.1 Insert导出
1)将查询的结果导出到本地
hive (default)> insert overwrite local directory '/opt/module/hive/datas/export/student'
select * from student;
2)将查询的结果格式化导出到本地
hive(default)> insert overwrite local directory '/opt/module/hive/datas/export/student1'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' select * from student;
3)将查询的结果导出到HDFS上(没有local)
hive (default)> insert overwrite directory '/output/student'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
select * from student;
注意:insert导出时,hive会自动创建导出目录,但是由于是overwrite,所以导出路径一定要写准确,否则存在误删数据的可能。
5.3 数据迁移
export和import命令主要用于两个Hadoop平台集群之间Hive表迁移。
5.3.1 Export导出到HDFS上
hive(default)> export table default.student2 to '/地址';
5.3.2 Import数据到指定Hive表中
注意:先用export导出后,再将数据导入。
hive (default)> import table student2 from '/地址 ';