一般应用与业务需要数据输出到excel或者 hue web页面上无法全部展示比较大的数据,并且就算导出到excel中也会对服务器产生特别大的压力。所以就需要将hive数据表的数据导出以.csv或者.xlsx形式的存储!
导出为csv
csv导出命令
hive -e “select * from dm_hfs.app_register_count” >> app_register.csv
将需要的查询数据导出到 app_register.csv
从hdfs上导出到本地,然后通过xftp等软件将app_register.csv保存到本地。
然后用excel打开会发现全部出现在一列。这是由于没有进行分列导致的!
csv分列方法:
1.在shell中将csv文件进行分列符号替换,达到替换的目的。
sed -i ‘s/,/;/g’ app_register.csv
sed -i ‘s/\t/;/g’ app_register.csv
具体那种符号视情况而定,一般csv默认使用’,'作为分隔符
2.直接在本地打开excel文档中进行设置。
数据>>>分列>>>下一步>>>其他打钩,然后下一步,完成即可达到分列的目的
导出为xlsx格式
hive -e “select * from dm_hfs.app_register_count” >> app_register.csv
先导出为csv然后将文件改成xlsx格式
mv app_register.csv app_register.xlsx