文件存入hadoop出现乱码,尤其是在windows下的cygwin环境测试时候 囧
建议使用如下配置,而不是去改hadoop源码:
hadoop-env.sh
export HADOOP_OPTS="-server -Dfile.encoding=utf-8 -Duser.language=zh"
mapred-site.xml
<property>
<name>mapred.child.java.opts</name>
<value>-Dfile.encoding=utf-8 -Duser.language=zh -Xmx200m</value>
</property>
java -server -Xms512m -Xmx1g -Dfile.encoding=utf-8 -Duser.language=zh
转自: http://roserouge.iteye.com/blog/945563