Flink和Spark中文乱码问题

在开发Flink CDC从MySQL读取并写入HDFS时遇到中文乱码,排查并解决数据库及文件编码问题后,通过修改flink.conf增加配置。对于Spark,通过在启动参数中添加`--conf spark.executor.extraJavaOptions="-Dfile.encoding=UTF-8"`和`--conf spark.driver.extraJavaOptions="-Dfile.encoding=UTF-8"`解决了乱码问题。
摘要由CSDN通过智能技术生成

Flink和Spark中文乱码问题

Flink中文乱码

近期开发Flink CDC 读取mysql数据写入到HDFS,发现写入中文乱码,排查了数据库编码和文件编码都没有问题,后来网上查了一些资料,修改flink.conf文件,新增如下内容

env.java.opts: -Dfile.encoding=UTF-8

Spark中文乱码

也排查了数据库编码和文件编码没有问题,在程序启动参数中新增–conf spark.executor.extraJavaOptions=“-Dfile.encoding=UTF-8” --conf spark.driver.extraJavaOptions=“-Dfile.encoding=UTF-8”
完整例子

spark-submit \
--master yarn \
--conf spark.executor.extraJavaOptions="-Dfile.encoding=UTF-8" \
--conf spark.driver.extraJavaOptions=
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值