Hive几种数据导出方式

Hive中的几种不同的数据导出方式。可以根据导出的地方不一样，将这些方式分为三种：

• 导出到本地文件系统；
• 导出到HDFS中；
• 导出到Hive的另一个表中。

 

导出到本地文件系统

hive> insertoverwrite local directory '/home/wyp/wyp'

       > select* fromwyp;

这条HQL的执行需要启用Mapreduce完成，运行完这条语句之后，将会在本地文件系统的/home/wyp/wyp目录下生成文件，这个文件是Reduce产生的结果（这里生成的文件名是000000_0），我们可以看看这个文件的内容：

[wyp@master~/wyp]$ vim 000000_0

5^Awyp1^A23^A131212121212

6^Awyp2^A24^A134535353535

7^Awyp3^A25^A132453535353

8^Awyp4^A26^A154243434355

1^Awyp^A25^A13188888888888

2^Atest^A30^A13888888888888

3^Azs^A34^A899314121

可以看出，这就是wyp表中的所有数据。数据中的列与列之间的分隔符是 ^A (ascii码是 \00001 )。

和导入数据到Hive不一样，不能用 insert into 来将数据导出：

 

hive> insertinto local directory'/home/wyp/wyp'

    > select* fromwyp;

导出到HDFS中

和导入数据到本地文件系统一样的简单，可以用下面的语句实现：

hive> insertoverwrite directory '/home/wyp/hdfs'

    > select* fromwyp;

将会在HDFS的 /home/wyp/hdfs 目录下保存导出来的数据。注意，和导出文件到本地文件系统的HQL少一个local，数据的存放路径就不一样了。

导出到Hive的另一个表中

hive> insertinto table test

    > partition (age='25')

    > selectid, name, tel

    > fromwyp;