zzyzzy12

大数据搬砖狗...

Spark Streaming 处理中文异常的解决方案

    最近用Spark Streaming从Kafka接数据进行处理,是对中文的内容进行计算。发现处理时中文全变成了????????的形式,导致处理的结果和预期的不一样。但把数据放在redis或者放入下游的kafka topic,中文又正常了。为了防止是因为打日志的编码问题导致的判断出错,专门对算法进行了判断,的确就是对?????的东西处理了,而不是原中文字符串。

    遇到这种情况,想到的就是编码问题,因为在在本地运行spark streaming是可以处理中文的,放到集群上就不行了,在程序中输出

        Charset.defaultCharset()   或者   System.getProperty("file.encoding") 可以查看程序运行时环境的编码

    进行对比,发现本地的是Utf-8,是理想的。而提交到集群上的任务,输出为ISO-8859-1,直接导致了程序运行时处理的中文都变成了?????

    解决方案是修改一下提交spark任务的客户端配置(提交该任务的机器,不是去修改集群),找到spark-env.sh比如/etc/spark/conf/spark-env.sh,设置

         export SPARK_JAVA_OPTS=" -Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8 "

    再次提交任务后,发现中文可以正常的处理了。

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/kk303/article/details/52811363
个人分类: 大数据
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

Spark Streaming 处理中文异常的解决方案

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭