问题场景
要用spark处理一大堆微信日志数据,日志存放在HDFS上,是xml格式,里面有大量的中文。用scala + java实现了xml的处理逻辑,其中有一步是要获取xml中的一个title字段,中文。不管怎么抓取,最终得到的中文都会变成一堆“?????”,乱码了。从xml中获取非中文字段,没有任何问题。也就是说,代码的逻辑是没什么问题的。
问题解析
直接用hadoop fs -text或者hadoop fs -cat查看HDFS上的文件,是可以正常显示的,也就是说HDFS上存放的原数据是好的。那么就肯定是读取数据或者处理数据的过程中出了问题。spark on yarn的数据处理,同时涉及了HDFS,App driver, App excutor之间的交互,所以还真没法一下就判断出是哪一步传输中出了问题。抽丝剥茧,先梳理一遍spark的处理逻辑:
(1) 从HDFS把xml读取到每个NM上的executor中(spark on yarn环境)
(2) 在executor中对xml进行处理,获取中文字段。这里我实现了一个java方法,调用dom来解析xml。
(3) 把解析后的字段collect到driver中,做存储或者输出打印等。
(4) 或者把解析后的字段重新存入HDFS
进入Spark-shell,依次验证这几个步骤。读入HDFS上的xml文件,然后直接写入HDFS,检查发现字符显示正常,排除步骤(1)(4