建议excel的处理都在windows上进行
1.用sublime打开从hdfs下载的文件
2.全选 复制粘贴到一个空白的excel中
3.使用函数WIDECHAR
如果使用mac会得到这个
使用windows即可
4、直接复制结果到sublime重即可,这样不需要再处理编码问题和"问题
-------------------------------------以下废弃-------------------------------------
4.处理完保存
5.转格式
iconv -f UTF-16LE -t UTF-8 final_indicator_and_it_quan_jiao.txt -o final_indicator_and_it_quan_jiao2.txt
6.Excel会将"转为""
也会出现转为"""的情况
所以需要去掉多余的"
[root@node03 formal_data]# sed 's/"""/"/g' final_indicator_and_it_quan_jiao.txt >final_indicator_and_it_quan_jiao2.txt
[root@node03 formal_data]# sed 's/""/"/g' final_indicator_and_it_quan_jiao2.txt >final_indicator_and_it_quan_jiao3.txt