Hive数据导出为csv、tsv文件的几种方法

Hive数据导出csv，tsv

• 第一种(推荐)

hadoop fs -cat hdfs_path/* |tr "\t" "," > file_path/file_name.csv

• PS:
  • ‘|tr “\t” “,”’ 将数据分隔符 制表符 替换为 “,”.
  • hive在hdfs中存储可能是\001分割，替换\t即可.
  • 数据中包含","会导致.csv文件不能正确解析.这时建议改为.tsv文件（制表符分割）.
  • hdfs中== 空值 采用 \N 存储，可以使用 |tr -d “\\\N” 变为正确的 空值 ==.
  • 导出数据中没有分区字段，可以在hive表中添加一个分区字段.
• 第二种(不建议)

insert into(或overwrite) local directory 'path' row format delimited fields terminated by ',' select * from db_name.table_name;

PS:使用overwrite时一定要小心，会重写覆盖整个文件夹。

• 第三种(不建议)

hive -e "set hive.cli.print.header=true; select * from db_name.table_name8" | sed 's/[\t]/,/g'  > file_name.csv

PS:这种会把Hive启动日志放入数据中，最后也没找到办法去除这些日志。

• 总结：第二、三种方式是网络上比较容易查到的方式，但用起来不是很好，这里记录一下弊端与解决方法。csv，tsv不包含字段名称与对应信息，这点还是很不好的（不过这次也够用了）。查了一下hive导出成json需要编写udf函数。