Hive_第5章 DML 数据操作

第5章 DML数据操作

5.1 数据导入

5.1.1 向表中装载数据（Load）

1.基本语法

hive(default)> load data [local] inpath '数据的path' [overwrite] into table table_name [partition (partcol1=val1,…)];
// 加local则是从本地家在数据，不加local则是从hdfs加载数据
// 加overwrite则是覆盖写，不加overwrite则是末尾追加写

2.实操案例
（1）创建一张表student

hive (default)> create table student(
              id string, 
              name string
)
row format delimited fields terminated by '\t';

（2）加载本地文件到hive的student表中 (local)

hive (default)> load data local inpath '/opt/module/hive/datas/student.txt' into table default.student;

（3）加载HDFS文件到hive中(不加local)
① 上传文件到HDFS

hive (default)> dfs -put /opt/module/hive/datas/student.txt  /input;

② 从HDFS上加载(追加)数据到表中

hive (default)> load data inpath '/input/student.txt' into table default.student;

（4）从本地加载数据覆盖表中已有的数据(overwrite)

hive (default)> load data inpath '/input/student.txt' overwrite into table default.student;
FAILED: SemanticException Line 1:17 Invalid path ''/input/student.txt'': No files matching path hdfs://hadoop102:8020/input/student.txt

竟然报错了，信息显示文件不存在？
显然，加载HDFS上的文件到hive表中，采用的类似剪切的方式，将文件拷贝到表的映射目录下。
再将上传文件到HDFS

hive (default)> dfs -put /opt/module/hive/datas/student.txt /input;

重新从HDFS上加载数据

hive (default)> load data inpath '/input/student.txt' overwrite into table default.student;

此时再查看表中数据是否被覆盖。

5.1.2 向表中插入数据（Insert）

1）创建一张表 (create)

hive (default)> create table student2(id int, name string) row format delimited fields terminated by '\t';

2）基本插入数据 (insert into )

hive (default)> insert into table  student2 values(1,'wangwu'),(2,'zhaoliu');

3）将查询结果插入表中 (insert overwirte … select …from …)

hive (default)> insert overwrite table student2 select id, name from student ;

Insert into：	以追加数据的方式插入到表或分区，原有数据不会删除
Insert overwrite：	会覆盖表中已存在的数据

注意：insert不支持插入部分字段。

5.1.3 查询语句中创建表并加载数据（As Select）

根据查询结果创建表（查询的结果会添加到新创建的表中）

hive(default)> create table if not exists student4
as select id, name from student;

5.1.4 创建表时通过Location指定加载数据路径

1）上传数据到hdfs上

hive (default)> dfs -mkdir /input/student;
hive (default)> dfs -put /opt/module/hive/datas/student.txt /input/student/student.txt;

2）创建表，并指定在hdfs上的位置

hive (default)> create external table if not exists student5(
              id int,
              name string
)
row format delimited fields terminated by '\t'
location '/input/student';

3）查询数据

hive (default)> select * from student5;
OK
student5.id     student5.name
1001    ss1
1002    ss2
……

注意：hive创建表时，默认时将表的名字作为默认HDFS上表对应的存储路径的名字，但是，如果你通过localtion指定存储路径，就不会修改路径名字为表名了。如上边的表名为student5和其在HDFS上的存储路径student。

5.2 数据导出

5.2.1 Insert导出

1）将查询的结果导出到本地

hive (default)> insert overwrite local directory '/opt/module/hive/datas/export/student'
            select * from student;

2）将查询的结果格式化导出到本地

hive(default)> insert overwrite local directory '/opt/module/hive/datas/export/student1'
           ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'             select * from student;

3）将查询的结果导出到HDFS上(没有local)

hive (default)> insert overwrite directory '/output/student'
             ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
             select * from student;

注意：insert导出时，hive会自动创建导出目录，但是由于是overwrite，所以导出路径一定要写准确，否则存在误删数据的可能。

5.3 数据迁移

export和import命令主要用于两个Hadoop平台集群之间Hive表迁移。

5.3.1 Export导出到HDFS上

hive(default)> export table default.student2 to '/地址';

5.3.2 Import数据到指定Hive表中

注意：先用export导出后，再将数据导入。

hive (default)> import table student2  from '/地址 ';