一、Hive数据导入导出
1、hive数据导出
很多时候,我们在hive中执行select语句,希望将最终的结果保存到本地文件或者保存到hdfs系统中或者保存到一个新的表中,hive提供了方便的关键词,来实现上面所述的功能。
1.将select的结果放到一个新表中(首先要用create table创建新的表格)
insert overwrite table table_name2 select id,name from table_name2;
将从表table_name2中查询的数据插入到表table_name1中
2.将select的结果放到本地文件系统中
insert overwrite local '/tmp/reg_3' row formatted delimited fields terminated by '\t' select * from table table_name;
在hive环境下,将从表“table_name”中查询到的数据放在本地目录“/tmp/reg_3”下
3.将select的结果放到hdfs文件系统中
insert overwrite directory '/tmp/hdfs_out' select a.* from table_name where a.ds='<date>';
将从表table_name中查询到的数据放在HDFS的'/tmp/hdfs_out'目录下
4.通过Hadoop命令将表中的数据导入到本地文件目录下
hadoop fs -get '/hive/t1' /root/data/
将表目录hive下的表t1中的数据导入到本地目录/root/data/下
5.Shell命令加管道(hive -f/e | sed/grep/awk >file)
hive -e "select * from table_name" grep key_word
筛选出table_name表中所有含有key_word字符的数据。
2、hive数据导入
1、load data [local] inpath '/data/userdata' [overwrite] into table user;
将本地数据插入到表user中,插入的数据存放在本地的'/data/userdata'下
2、创建表的时候直接指定路径
create external table user(id int,name string) row format delimited fields terminated by '44' lines terminated by '12' stored as textfile localtion '/data/userdata';
将'/data/userdata'下的数据导入到新创建的外部表user中
3、创建表之后也可以导入数据到表中
(1)本机路径
load data local inpath '/data/data.txt' overwrite into table table_name partition(pt='time');
(2)Hadoop路径
load data inpath '/hadoop/data.txt' overwrite into table table_name partition(pt='time');
上面overwrite关键字会全表覆盖,如果只是想附加数据,将OVERWRITE去掉即可,添加一个分区到表可以利用语句:
alter table table_name add partition(pt='partition_name') location '/hive/pt=partition_name';
还可以直接从从其它的表拖数据过来
insert overwrite table table_name select * from table_name1;