Hive_第5章 DML 数据操作

第5章 DML数据操作

5.1 数据导入

5.1.1 向表中装载数据(Load)

1.基本语法

hive(default)> load data [local] inpath '数据的path' [overwrite] into table table_name [partition (partcol1=val1,)];
// 加local则是从本地家在数据,不加local则是从hdfs加载数据
// 加overwrite则是覆盖写,不加overwrite则是末尾追加写

在这里插入图片描述
2.实操案例
(1)创建一张表student

hive (default)> create table student(
              id string, 
              name string
)
row format delimited fields terminated by '\t';

(2)加载本地文件到hive的student表中 (local)

hive (default)> load data local inpath '/opt/module/hive/datas/student.txt' into table default.student;

(3)加载HDFS文件到hive中(不加local)
① 上传文件到HDFS

hive (default)> dfs -put /opt/module/hive/datas/student.txt  /input;

② 从HDFS上加载(追加)数据到表中

hive (default)> load data inpath '/input/student.txt' into table default.student;

(4)从本地加载数据覆盖表中已有的数据(overwrite)

hive (default)> load data inpath '/input/student.txt' overwrite into table default.student;
FAILED: SemanticException Line 1:17 Invalid path ''/input/student.txt'': No files matching path hdfs://hadoop102:8020/input/student.txt

竟然报错了,信息显示文件不存在?
显然,加载HDFS上的文件到hive表中,采用的类似剪切的方式,将文件拷贝到表的映射目录下。
再将上传文件到HDFS

hive (default)> dfs -put /opt/module/hive/datas/student.txt /input;

重新从HDFS上加载数据

hive (default)> load data inpath '/input/student.txt' overwrite into table default.student;

此时再查看表中数据是否被覆盖。

5.1.2 向表中插入数据(Insert)

1)创建一张表 (create)

hive (default)> create table student2(id int, name string) row format delimited fields terminated by '\t';

2)基本插入数据 (insert into )

hive (default)> insert into table  student2 values(1,'wangwu'),(2,'zhaoliu');

3)将查询结果插入表中 (insert overwirte … select …from …)

hive (default)> insert overwrite table student2 select id, name from student ;
Insert into:以追加数据的方式插入到表或分区,原有数据不会删除
Insert overwrite:会覆盖表中已存在的数据

注意:insert不支持插入部分字段。

5.1.3 查询语句中创建表并加载数据(As Select)

根据查询结果创建表(查询的结果会添加到新创建的表中)

hive(default)> create table if not exists student4
as select id, name from student;

5.1.4 创建表时通过Location指定加载数据路径

1)上传数据到hdfs上

hive (default)> dfs -mkdir /input/student;
hive (default)> dfs -put /opt/module/hive/datas/student.txt /input/student/student.txt;

2)创建表,并指定在hdfs上的位置

hive (default)> create external table if not exists student5(
              id int,
              name string
)
row format delimited fields terminated by '\t'
location '/input/student';

3)查询数据

hive (default)> select * from student5;
OK
student5.id     student5.name
1001    ss1
1002    ss2
……

注意:hive创建表时,默认时将表的名字作为默认HDFS上表对应的存储路径的名字,但是,如果你通过localtion指定存储路径,就不会修改路径名字为表名了。如上边的表名为student5和其在HDFS上的存储路径student。

5.2 数据导出

5.2.1 Insert导出

1)将查询的结果导出到本地

hive (default)> insert overwrite local directory '/opt/module/hive/datas/export/student'
            select * from student;

2)将查询的结果格式化导出到本地

hive(default)> insert overwrite local directory '/opt/module/hive/datas/export/student1'
           ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'             select * from student;

3)将查询的结果导出到HDFS上(没有local)

hive (default)> insert overwrite directory '/output/student'
             ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
             select * from student;

注意:insert导出时,hive会自动创建导出目录,但是由于是overwrite,所以导出路径一定要写准确,否则存在误删数据的可能。

5.3 数据迁移

export和import命令主要用于两个Hadoop平台集群之间Hive表迁移。

5.3.1 Export导出到HDFS上

hive(default)> export table default.student2 to '/地址';

5.3.2 Import数据到指定Hive表中

注意:先用export导出后,再将数据导入。

hive (default)> import table student2  from '/地址 ';
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值