获取hdfs文件到本地的两种方法比较

一、前言

最近在搞数据传输的东西，涉及到hdfs的操作，主要有两种方法：

1、hive -e方法

2、hdfs dfs -get方法

二、详解：

两者都可以将集群的数据写入到本地，但是所存储的格式存在差别：

方法一：

hive -e将集群的数据拉取到本地，所 存储的格式是服务器默认存储的格式，这种格式存在的问题是：如果在将文件导入到另外一台集群时，如果创建表的分割符与机器的默认分割不一致，就会导致列分割失败，所有的列会写入一个字段中。

hive -e "USE htl_data;SELECT htl_type,htl_id FROM tmp_lqh_data_detail"> /$file_location/tmp_lqh_data_detail_$YESTERDAY_DATE.txt

方法二：

使用hdfs命令行的方法将集群数据拉取到本地，被拉取的数据存储的格式会和集群存储的格式保持一致。因此在另外一个集群进行上传时，只需要在被拉取的集群建表语句copy一份就行了。

hdfs dfs -copyToLocal -f /user/hive/warehouse/htl_data/tmp_lqh_htl_data_detail/pt=$YESTERDAY /rd/home/lqh/tmp_data/tmp_lqh_htl_data_detail_$YESTERDAY_DATE.txt

     在实际的使用中，第一种方法的优势在于可以从hive表里拿到自己想要的字段，第二种方法是将hive表里的所有字段都获取到，如果数据量非常大的情况下，获取的数据会有冗余。