CDH环境下 Flink On Yarn 任务中文乱码问题解决
问题描述
在Flink通过kudu-client方式插入CDH上的Kudu表数据中,包含中文数据,本地idea执行是正常的,但是服务器上执行就乱码。进一步排查发现,使用Flink的StandaloneCluster模式运行该程序写入数据正常,使用PerJobOnYarn模式则乱码,初步怀疑是CDH集群的Yarn配置的问题。
问题解决
Google 搜索相关问题后,找到一篇Spark On Yarn乱码的解决文章,依据文章的提示得以解决。
链接: spark on yarn 中文乱码问题.
1. Linux的环境变量设置字符集
vi /etc/profile
export LANG=zh_CN.UTF-8
2. 修改MapReduce的环境变量
修改hadoop-env.sh文件
export</