mysql查询结果导出txt_MySQL将查询结果导出到txt文件

2019-03-31 回答

最近在使用hive时，需要将hive查询的数据导出到本地文件系统，hql语法如下：

insert overwrite [local] directory directory1 select_statement1

查询结果导出到本地文件后，试图使用excel加载时遇上了麻烦：不知道hive导出文件时使用的分隔符，

使用文本编辑器打开也显示乱码。

最后在官方文档上找了半天才发现，hive使用 ^a 符号作为域的分隔符，原文如下：

data written to the filesystem is serialized as text with columns separated by ^a

在python中可以使用line.split('\x01')来进行切分，也可以使用line.split('\001')，注意其中是单引号

在java中可以使用split("\\u0001")来进行切分

如果确实需要将查询结果导出到本地文件，最好使用hive的命令：

[sql] view plaincopy在code上查看代码片派生到我的代码片

bin/hive -e "select * from test" >> res.csv

或者是：

bin/hive -f sql.q >> res.csv ...展开 最近在使用hive时，需要将hive查询的数据导出到本地文件系统，hql语法如下：

insert overwrite [local] directory directory1 select_statement1

查询结果导出到本地文件后，试图使用excel加载时遇上了麻烦：不知道hive导出文件时使用的分隔符，

使用文本编辑器打开也显示乱码。

最后在官方文档上找了半天才发现，hive使用 ^a 符号作为域的分隔符，原文如下：

data written to the filesystem is serialized as text with columns separated by ^a

在python中可以使用line.split('\x01')来进行切分，也可以使用line.split('\001')，注意其中是单引号

在java中可以使用split("\\u0001")来进行切分

如果确实需要将查询结果导出到本地文件，最好使用hive的命令：

[sql] view plaincopy在code上查看代码片派生到我的代码片

bin/hive -e "select * from test" >> res.csv

或者是：

bin/hive -f sql.q >> res.csv

其中文件sql.q写入你想要执行的查询语句

这问题在使用hive hql streaming时也会遇到，当你使用hql strreaming 将输出直接写入到hdfs目录，然后你在该目录上创建hive 外部表时，hive的输出结果会将streaming 的key和value之间的分隔符修改为 \001，所以，在hql streaming和输出为hive 外部表时，最好将streaming的最后输出的分隔符修改为\001，并且hive外部表的分隔符应该设置为\001，注意：不要使用^a和\x01，如：

[html] view plaincopy在code上查看代码片派生到我的代码片

create external table site_user_mapping_info_month(uid string,tag string,project_ids string,site_interests string) partitioned by(year string, month string) row format delimited fields terminated by '\001' location '/project/site_grouping/site_user_mapping_info_month';收起