hive的数据导入与导出

hive数据导入
从本地导入是复制
从hdfs导入时mv(移动)

从本地文件系统导入hive表中
1.向表中加载数据(load)
语法;                  本地文件加local             
	load data [local] inpath '文件路径' [overwrite] into table 表名[partition ....];
2.通过查询语句插入数据(insert)
	2.1  insert into table  表1 select *from 表2
	2.2  insert overwrite(覆盖)  table  表1 select *from 表2
3.创建表时导入数据as select  相当于复制一张表
	create table 表1 as select *from 表2
4.创建表时通过location指定加载数据路径
	create table tb location '文件所在hdfs的目录'
5.import数据到指定hive表中    了解即可
	export

数据导出:从hive表中导出到本地文件系统

  1. insert
    insert overwrite local directory ‘本地路径’ row format delimited fields terminated by ‘\t’ select *from tb
    insert overwrite directory ‘HDFS 路径’ row format delimited fields terminated by ‘\t’ select *from tb
  2. hadoop fs -get
  3. hive -e ‘select *from tb’ > ‘路径
  4. export table tb to ‘HDFS路径’ 了解即可

补充:
– 动态导入方式
1)开启动态分区
–开启动态分区
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

案例:
insert overwrite table student_dyna
partition(age)
select
id,
name,
age
from student;

2)导出多个文件

--语法格式
FROM tb
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 row_format
select_statement1 where 
[INSERT OVERWRITE [LOCAL] DIRECTORY directory2 row_format
select_statement2 where ] ...
row_format
 : DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY 	char]] [COLLECTION ITEMS TERMINATED BY char]
    [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
    [NULL DEFINED AS char]

3)分区表:需要两个分区一致,在一个分区下,来导出不同条件的数据——>就是HDFS目录一致文件分2个
from tb
insert overwrite directory ‘hdfs路径’ STORED AS AVRO ----》以 AVRO文件导出
select
word,
num
where taskname=’’ and word=’’
insert overwrite local directory ’ hdfs路径’ STORED AS AVRO
select
word,
num
where taskname=’’ and word=’’;

  • 1
    点赞
  • 0
    评论
  • 0
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

参与评论 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:游动-白 设计师:我叫白小胖 返回首页

打赏作者

Z113014

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值