Hive的数据导入和导出方式

本文介绍了Hive进行数据导入和导出的各种方法,包括使用load从本地和HDFS加载数据,overwrite选项覆盖数据,通过子查询和insert方式进行数据插入,以及Hive数据的导出操作,如insert输出、HDFS命令迁移和使用shell重定向保存结果。此外,还提及了sqoop以及Hive的export和import功能。
摘要由CSDN通过智能技术生成

HIve导入数据和导出数据的方式

load方式,本地
load data local inpath 'local_path' into table tb_name;
从本地复制了文件到表的路径下
应用场景:大部分的使用,文件几乎都是默认现在本地的

load方式,HDFS
load data inpath 'hdfs_path' into table tb_name;
将文件移动到了表的路径下
应用场景:更适合大数据量的存储

load方式,overwrite
load data inpath 'hdfs_path' overwrite into table tb_name;
应用场景:适合一些重复写入的表(临时表),作为一个过渡使用

子查询方式,as
应用场景:对于数据查询结果的保存

insert方式
传统关系型数据库中,insert是插入一个值
在hive中insert into table后面还是跟一个语句(select语句)
insert into table select sql;
举例:
create table emp_insert like emp;
insert into table emp_insert select * from emp;

hive数据的导出

insert方式
格式:insert overwrite [local] directory 'path' select sql;
数据导出到本地
insert overwrite local directory '/opt/datas/emp_in01' select * from emp;
输出的目标可以提前存在,底层实现的时候,先删除再重新创建
指定分隔符
insert overwrite local directory '/opt/datas/emp_in01' row format delimited fields terminated by '\t' select * from emp;

HDFS 导入到HDFS上
insert overwrite directory '/emp_insert' select * from emp;
注意:上一级的父目录必须存在

HDFS SHELL命令 -get
直接通过hdfs的-get下载命令下载到本地
bin/hdfs dfs -get hdfs_path local_path

在Linux的命令行使用hive的-e -f参数,将输出重定向保存到本地文件

-e就是hive后面直接使用SQL
-f就是

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值