Spark 处理中文乱码问题（UTF-8编码）

问题场景

要用spark处理一大堆微信日志数据，日志存放在HDFS上，是xml格式，里面有大量的中文。用scala + java实现了xml的处理逻辑，其中有一步是要获取xml中的一个title字段，中文。不管怎么抓取，最终得到的中文都会变成一堆“？？？？？”，乱码了。从xml中获取非中文字段，没有任何问题。也就是说，代码的逻辑是没什么问题的。

问题解析

直接用hadoop fs -text或者hadoop fs -cat查看HDFS上的文件，是可以正常显示的，也就是说HDFS上存放的原数据是好的。那么就肯定是读取数据或者处理数据的过程中出了问题。spark on yarn的数据处理，同时涉及了HDFS，App driver, App excutor之间的交互，所以还真没法一下就判断出是哪一步传输中出了问题。抽丝剥茧，先梳理一遍spark的处理逻辑：

（1） 从HDFS把xml读取到每个NM上的executor中（spark on yarn环境）

（2） 在executor中对xml进行处理，获取中文字段。这里我实现了一个java方法，调用dom来解析xml。

（3） 把解析后的字段collect到driver中，做存储或者输出打印等。

（4） 或者把解析后的字段重新存入HDFS

进入Spark-shell，依次验证这几个步骤。读入HDFS上的xml文件，然后直接写入HDFS，检查发现字符显示正常，排除步骤（1）（4