问题:
spark
开发中难免需要打印一些日志来调试程序是否按照预期在正常工作,于是一般会在代码中通过定义指定日志来判断,当开发中打印【中文】日志的时候,发现spark ui
界面stdout
和stderr
里关于中文都是乱码。
解决:
这里先说解决方案,着急的同学们可以先修改代码,然后慢慢往下看排查过程。
spark-submit
提交的时候,增加如下两个配置,就可以在ui
界面正常查看中文标志
--conf spark.executor.extraJavaOptions="-Dfile.encoding=UTF-8" \
--conf spark.driver.extraJavaOptions="-Dfile.encoding=UTF-8" \
排查:
一般spark
的stdout
都是从spark
机器上的日志文件拷贝过来显示的,ui
界面或者是odps
的logview
界面之前都是可以显示正常中文的,说明该网页一般可以接受UTF-8
文件格式。如果乱码,可能是spark
存储的日志文件格式有问题。
从机器上排查一下,发现日志格式如下:
这里日志文件并不是UTF-8
另外可以从spark ui
上看一个配置参数:file.encoding
默认是 这样的:
所以日志文件从存储位置就错误了,所以最后显示也是乱码的。
重新提交:
按照解决方式中,增加两个配置参数之后,日志可以正常显示:
并且从环境参数来看,文件格式已经被手动提交的参数给修改了:
代码层面:
java
程序或者其他程序写文件时,会先将对象转为byte
数组,然后再写入磁盘,这里来看具体的代码调用过程:
1)调用println
方法 – 【点击 println
】
2)进入Console
.println
方法
3)进入out.println(x)
4)调用 具体的 print
5)进一步调用write
方法
6)破案了,这里会默认调用本platform
的编码格式。所以就使用了spark
的默认编码,而不是想要的utf-8
编码