Hive数据导入和导出

最新推荐文章于 2024-01-16 19:12:32 发布

AlextoWarson

最新推荐文章于 2024-01-16 19:12:32 发布

阅读量1.2w

点赞数

文章标签： table string insert events url date

本文链接：https://blog.csdn.net/AlextoWarson/article/details/6562907

版权

1/hive数据导出

很多时候，我们在hive中执行select语句，希望将最终的结果保存到本地文件或者保存到hdfs系统中或者保存到一个新的表中，hive提供了方便的关键词，来实现上面所述的功能。

1.将select的结果放到一个的的表格中（首先要用create table创建新的表格）

insert overwrite table test

select uid,name from test2;

2.将select的结果放到本地文件系统中

INSERT OVERWRITE LOCAL DIRECTORY '/tmp/reg_3' SELECT a.* FROM events a;

3.将select的结果放到hdfs文件系统中

INSERT OVERWRITE DIRECTORY '/tmp/hdfs_out' SELECT a.* FROM invites a WHERE a.ds='<DATE>';

2/hive数据导入

LOAD DATA [LOCAL] INPATH ‘/data/userdata’ [OVERWRITE] INTO TABLE user;

#创建表的时候直接指定路径
CREATE EXTERNAL TABLE page_view(viewTime INT, userid BIGINT,

                    page_url STRING, referrer_url STRING,
                    ip STRING COMMENT 'IP Address of the User',
                    country STRING COMMENT 'country of origination')

COMMENT 'This is the staging page view table'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '44' LINES TERMINATED BY '12'
STORED AS TEXTFILE
LOCATION '/user/data/staging/page_view';   #创建表之后也可以导入数据到表中
#本机路径（跳板机）
LOAD DATA LOCAL INPATH `/tmp/date.txt` OVERWRITE INTO TABLE page_view PARTITION(pt='2008-06-08')

#Hadoop路径
LOAD DATA INPATH `/tmp/date.txt` OVERWRITE INTO TABLE page_view PARTITION(pt='2008-06-08')

#上面OVERWRITE关键会全表覆盖，如果只是想附加数据，将OVERWRITE去掉即可。   #添加一个分区到表
ALTER TABLE tmp_xx ADD PARTITION (pt='100610') location '/group/mywork/hive/xx/pt=100610' ;

#当然你可以直接从从其它的表拖数据过来 
INSERT OVERWRITE TABLE TMP_T1 SELECT * FROM TMP_T2;