如何将hive表中的数据导出

        近期经常将现场的数据带回公司测试,所以写下该文章,梳理一下思路。

1.首先要查询相应的hive表,比如我要将c_cons这张表导出,我先查出hive中是否有这张表。

查出数据,证明该表在hive中存在。

2.查询该表的表结构(建表语句),为了更快的将表数据导入的公司的hive表中。查询表结构语句:show create table c_cons

image

3.根据你hive配置地址找到表在hadoop集群中的文件位置。

我的c_cons表的位置在:/user/hive/warehouse/c_cons里面。

4.在集群上输入:hadoop fs -get /user/hive/warehouse/c_cons,变可将文件下载到本地。不指定位置就下载到root目录下(shell命令参考:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

image

image

5.有时候文件过大,拷贝太占U盘空间,所以要进行打包。

image

-r 压缩 c_cons目录下的所有文件,压缩成的文件名为c_cons.zip (linux压缩解压参考:http://jingyan.baidu.com/article/6d704a13f9981a28da51ca70.html

6.然后将c_cons.zip拷到U盘,带走。

7.回到公司,将c_cons.zip放在集群本地,进行解压。

解压到默认目录直接:unzip c_cons.zip 就可以了。

如果指定目录,例如解压到home目录下 unzip c_cons.zip –d /home/

image

8.将解压出来的文件上传到hadoop集群,我放在集群的/jsdata/目录下。使用shell命令:hadoop fs -put /home/c_cons /jsdata/

9.然后根据查询出的建表语句建表。

10.将数据导入到hive表中:load data inpath '/jsdata/c_cons into table c_cons

转载于:https://www.cnblogs.com/zcr3108346262/p/6340661.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值