hive导出查询结果到本地文件

最近在使用hive时，需要将hive查询的数据导出到本地文件系统，HQL语法如下：

INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
  查询结果导出到本地文件后，试图使用excel加载时遇上了麻烦：不知道hive导出文件时使用的分隔符，
  使用文本编辑器打开也显示乱码。
  最后在官方文档上找了半天才发现，hive使用 ^A 符号作为域的分隔符，原文如下：
 Data written to the filesystem is serialized as text with columns separated by ^A

在python中可以使用line.split('\x01')来进行切分，也可以使用line.split('\001')，注意其中是单引号

在java中可以使用split("\\u0001")来进行切分

如果确实需要将查询结果导出到本地文件，最好使用hive的命令：

bin/hive -e "select * from test" >> res.csv

或者是：

bin/hive -f sql.q >> res.csv

其中文件sql.q写入你想要执行的查询语句

这问题在使用hive hql streaming时也会遇到，当你使用hql strreaming 将输出直接写入到hdfs目录，然后你在该目录上创建hive 外部表时，hive的输出结果会将streaming 的key和value之间的分隔符修改为 \001，所以，在hql streaming和输出为hive 外部表时，最好将streaming的最后输出的分隔符修改为\001，并且hive外部表的分隔符应该设置为\001，注意：不要使用^A和\x01，如：

create external table site_user_mapping_info_month(uid String,tag string,project_ids string,site_interests string) PARTITIONED BY(year String, month String) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' LOCATION '/project/site_grouping/site_user_mapping_info_month';