集群上提交的mr任务,发现结果中有的中文正常,有的中文是论码。
分析了一下,应该是集群中hadoop节点的编码配置不一样。可以加上下面的参数:
mapred.child.env="LANG=en_US.UTF-8,LC_ALL=en_US.UTF-8" ;
集群上提交的mr任务,发现结果中有的中文正常,有的中文是论码。
分析了一下,应该是集群中hadoop节点的编码配置不一样。可以加上下面的参数:
mapred.child.env="LANG=en_US.UTF-8,LC_ALL=en_US.UTF-8" ;