beeline 将查询的数据导出来_HIVE数据导出CSV

此前一直使用HIVE的Insert overwrite到本地目录的方法进行文件导出，但问题多多。主要原因是分隔符经常出现在字段中，实操中用竖杠|分隔问题较少。

insert overwrite local directory '/url/lxb/hive'

row format delimited

fields terminated by ','

select * from table_name limit 100

此外也尝试使用HIVE -E的方法，再通过sed 's/x01/,/g'命令进行文件过滤。

两种效果均不是很理想，究其原因，主要是两种方法导出的文件都不是标准CSV。

目前使用比较顺畅的方式是通过spark-shell2, 先把Hive表转化为DataFrame，再基于DataFrame.writer.csv()(DataFrameWriter.csv)导出到HDFS。

df = spark.sql("select * from test.student3")

df.write.csv("/HDFS目录")

hadoop fs -get /HDFS目录 XXX

----------------------------------- 2019-08-05更新--------------------------------------

beeline -n hive -u jdbc:hive2://XXXX:10000 --verbose=true --outputformat=csv2 -e "XXXXXXXX" >> XXX.csv

通过beeline导出HIVE数据至CSV较为稳定。

然后导出的数据编码为utf-8，需要进行转码。

iconv -f UTF-8 -t GBK XXX.csv to XXX_gbk.csv

有时候转GBK会报错，可以选另外两种Excel可以直接打开的编码格式。