flink on yarn任务中文乱码问题解决记录

于 2023-09-11 10:20:52 发布
阅读量652 收藏
点赞数
分类专栏： # flink 备忘 文章标签： flink 中文乱码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li281037846/article/details/132801492
版权

开发反馈预生产部分部分flink任务出现中文乱码的问题

找到乱码的flink任务所在的节点，登录服务器，执行locale命令：
在这里插入图片描述
发现是locale没有设置好，使用vim编辑文本，写入中文都直接乱码

对比其他几台机器，发现主要是缺失了/etc/locale.conf文件，把这几个文件补上即可

/etc/locale.conf内容很简单：LANG=“en_US.UTF-8”

（我们的机器实际是通过/etc/profile.d/lang.sh来读取/etc/locale.conf内容设置LANG环境变量）

补齐缺失文件后，重启NodeManager、flink任务

Java小田
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive/Spark 整库导出/导入脚本
Laurence的技术博客
08-21 551
1. 整库导出为一个SQL文件 database="<your-database-name>" cat << EOF > $database.sql drop database if exists $database cascade; create database if not exists $database; use $database; EOF for table in $(beeline -n hadoop -u jdbc:hive2:// --showHeade
Flink CDC 的 Debezium Json 消息中文乱码的解决方法
最新发布
Laurence的技术博客
05-14 526
在使用 Flink CDC 的 API 摄取 CDC 数据到 Kafka 的时候，如果使用的是 JsonDebeziumDeserializationSchema，那么会有很大概率遇到中文乱码问题，下面就是一个示例
CDH环境下 Flink On Yarn 任务中文乱码问题解决
weixin_42900056的博客
07-19 2904
Flink On Yarn 任务中文乱码问题解决问题描述问题解决1. Linux的环境变量设置字符集2. 修改MapReduce的环境变量3 CM界面,修改Yarn配置(mapred-site.xml)4 非CDH环境解决参考 问题描述 在Flink通过kudu-client方式插入CDH上的Kudu表数据中，包含中文数据，本地idea执行是正常的，但是服务器上执行就乱码。进一步排查发现，使用Flink的StandaloneCluster模式运行该程序写入数据正常，使用PerJobOnYarn模式则乱码，初
【Flink】Flink on yarn 日志乱码问题
九师兄
12-19 936
然后我们有次将这个注释掉，就不乱码了。但是在后面又换了环境，发现这个环境乱码。开始我们的提交脚本是这样的,这样在我们的环境是不乱码的，但是在其他环境乱码。后来又修改如下，修改flink.conf文件，新增如下内容。最近在适配一个环境，然后发现下载的日志乱码。后面发现在提交命令加入如下参数。
FAQ：Flink通过ParameterTool读取文件中文乱码
lixinkuan的博客
03-12 991
在用ParameterTool获取参数时，会出现中文乱码的问题。如下获取ParameterTool的方法getParameterTool： /** * 获取配置信息 * @param filePath 配置文件路径 * @return ParameterTool */ public static ParameterTool getParameterTool(String filePath){ ParameterTool parameter =...
flink写入HDFS中文乱码
songjifei的专栏
03-25 2218
客户端埋点日志进行解析时需要获取地区编码和名称，程序是通过flink分布式缓存将地区编码和名称数据传到每个task节点进行读取。本地测试时没有问题，但是部署到集群数据写入hdfs后发现中文乱码，代码如下： //设置分布式缓存文件地址 StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnv...
Flink通过ParameterTool读取文件中文乱码
lck_csdn的博客
10-24 1483
Flink通过ParameterTool读取文件中文乱码
flink on yarn.txt
05-24
编译环境： flink on yarn flink版本：flink1.8.0 scala版本：scala_2.1.2 hadoop版本：hadoop2.6.0-cdh5.9.3 系统：cetos6.4 final
cdh6.3.1 FLINK_ON_YARN-1.14.0.jar
02-14
CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件） 文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-...
flink on yarn 缺少依赖NoClassDefFoundError: com/sun/jersey
06-06
flink-hadoop-compatibility_2.12-1.7.1.jar javax.ws.rs-api-2.0.1.jar jersey-common-2.27.jar jersey-core-1.19.4.jar 解决 Exception in thread "main" java.lang.NoClassDefFoundError: ...
FLINK_ON_YARN-1.14.3.jar
04-05
CDH6.2 FLINK on yarn : FLINK_ON_YARN-1.14.3.jar
flink on yarn 模式下，flink 1.12.5版本运行所需完整lib包
08-30
针对“flink on yarn 模式下，flink 1.12.5版本运行所需完整lib包”这个主题，我们将深入探讨如何在 Flink 1.12.5 版本下配置和运行作业，并理解其中涉及的关键知识点。 1. **Flink on YARN 模式**： - **YARN ...
flink-on-yarn-1.13.2.jar
09-28
本人搭建cdh6.3.2环境时候集成flink1.13.2组件使用的flink_on_yarn-1.13.2.jar资源包，已验证可以使用，是本人制作parcel的时候的成品
FLINK_ON_YARN-1.12.0.jar
11-01
适用范围CDH (>= 5.2), CDH (),系统版本 el7
Flink on Yarn_K8S原理剖析及实践.pdf
07-17
Flink 2018峰会 阿里大牛的技术， 在线教程有github：**，第7个文档 详细的讲解Flink和YARN及kubenete的集成，值得收藏
藏经阁-Deploy Apache Flink Natively on YARN_Kubernetes.pdf
09-09
在 YARN 中部署 Flink 需要解决两个主要问题：资源管理和容器管理。Flink Standalone Cluster on YARN 通过 ResourceManager 和 ContainerManager 实现资源管理和容器管理。ResourceManager 负责管理集群中的资源，...
Flink 日志中文乱码
weixin_53803675的博客
04-08 1594
通过Web界面查看Flink日志，在Log打印出现中文乱码， 这种情况下可以在flink.conf. yaml加上 env.java.opts: “-Dfile.encoding=UTF-8”
flink web页面中文乱码解决
仙道Bob的专栏
10-29 2564
flink on yarn运行，web页面task managers logs和stdout中文显示均乱码(全都问号)，解决办法如下： 修改flink-1.11.0/conf/flink-conf.yaml 增加一行： env.java.opts: "-Dfile.encoding=UTF-8" 重启flink程序即可
Flink和Spark中文乱码问题
IT_xhf的专栏
06-08 1672
近期开发Flink CDC 读取mysql数据写入到HDFS，发现写入中文乱码，排查了数据库编码和文件编码都没有问题，后来网上查了一些资料，修改flink.conf文件，新增如下内容 Spark中文乱码 也排查了数据库编码和文件编码没有问题，在程序启动参数中新增–conf spark.executor.extraJavaOptions=“-Dfile.encoding=UTF-8” --conf spark.driver.extraJavaOptions=“-Dfile.encoding=UTF-8” 完整
Flink on yarn失败任务恢复怎么执行
06-08
在Flink on Yarn模式下，当一个任务失败后，Flink会自动尝试重新启动该任务，最多尝试3次。如果任务在3次重试后仍然失败，那么该任务将被视为永久性失败，Flink将不再尝试重新启动该任务。 如果你想要手动重新启动...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值