用Python脚本解决Linux上MapReduce输出结果中的中文乱码问题
问题介绍
Windows上跑出的结果中的中文显示没有问题,但是在Linux上由于编译环境问题却是中文乱码。
解决方案
利用Python脚本,快速完成编码转换。但是查找资料的过程比较艰辛,尝试了很多种办法都没能成功,最终用pydoop包对HDF上的MapReduce结果进行操作,解决问题。
import pydoop.hdfs as hdfs
import chardet
for in...
原创
2018-06-05 16:36:31 ·
755 阅读 ·
0 评论