CDH环境下 Flink On Yarn 任务中文乱码问题解决

最新推荐文章于 2024-05-31 08:30:00 发布
最新推荐文章于 2024-05-31 08:30:00 发布
阅读量3k 收藏 4
点赞数 1
分类专栏： 日常错误处理记录 文章标签： hadoop flink cloudera
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42900056/article/details/107446319
版权
本文介绍了在CDH环境下，Flink On Yarn任务出现中文乱码问题的解决过程。问题源于Flink在PerJobOnYarn模式下写入CDH Kudu表时的数据乱码。解决方法包括：调整Linux环境变量的字符集设置，修改MapReduce的环境变量，尤其是`hadoop-env.sh`中的配置，并在CM界面中更新Yarn的`mapred-site.xml`配置。按照这些步骤操作并重启Yarn服务后，问题得到解决。
摘要由CSDN通过智能技术生成

CDH环境下 Flink On Yarn 任务中文乱码问题解决

问题描述

在Flink通过kudu-client方式插入CDH上的Kudu表数据中，包含中文数据，本地idea执行是正常的，但是服务器上执行就乱码。进一步排查发现，使用Flink的StandaloneCluster模式运行该程序写入数据正常，使用PerJobOnYarn模式则乱码，初步怀疑是CDH集群的Yarn配置的问题。
在这里插入图片描述

问题解决

Google 搜索相关问题后，找到一篇Spark On Yarn乱码的解决文章，依据文章的提示得以解决。
链接: spark on yarn 中文乱码问题.

1. Linux的环境变量设置字符集

vi /etc/profile
export LANG=zh_CN.UTF-8

2. 修改MapReduce的环境变量

修改hadoop-env.sh文件

export</
最低0.47元/天 解锁文章
杉屿
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
【Flink】Flink on yarn 日志乱码问题
九师兄
12-19 940
然后我们有次将这个注释掉，就不乱码了。但是在后面又换了环境，发现这个环境乱码。开始我们的提交脚本是这样的,这样在我们的环境是不乱码的，但是在其他环境乱码。后来又修改如下，修改flink.conf文件，新增如下内容。最近在适配一个环境，然后发现下载的日志乱码。后面发现在提交命令加入如下参数。
CDH在yarn上运行程序乱码
justlpf的专栏
05-28 1023
参考文章：CDH在yarn上运行程序乱码 安装完成CDH后，在yarn上不管是使用hive运行mapreduce还是spark，中文全都会乱码。 1. linux的环境变量设置字符集 vi /etc/profile export LANG=zh_CN.UTF-8 2. 修改mapreduce的环境变量 hadoop-env.sh export HADOOP_OPTS="-server -Dfile.encoding=utf-8 -Duser.language=zh" CM界面yarn配
Flink系列三：Flink架构、独立集群搭建及Flink on YARN模式详解
最新发布
weixin_52134189的博客
05-31 2707
Flink架构,Flink独立集群搭建与使用,Flink on yarn的三种部署模式(Application,Per-Job Cluster,Session )
flink on yarn任务中文乱码问题解决记录
09-11 680
flink任务中文乱码问题解决
Flink CDC 中文乱码踩坑
m0_50670853的博客
04-13 2760
一. 发现中文字段全部变成??? vim flink-conf.yaml #增加 env.java.opts: "-Dfile.encoding=UTF-8"
FlinkCDC中文乱码问题
m0_57320261的博客
01-31 289
flink-conf.yaml文件中添加两个参数。注意添加位置在最后,防止被覆盖。
cdh6.3.1 FLINK_ON_YARN-1.14.0.jar
02-14
CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件） 文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-...
flink on yarn.txt
05-24
编译环境： flink on yarn flink版本：flink1.8.0 scala版本：scala_2.1.2 hadoop版本：hadoop2.6.0-cdh5.9.3 系统：cetos6.4 final
CDH6.3.2编译Flink-1.12.4
04-12
标题“CDH6.3.2编译Flink-1.12.4”涉及到的主要知识点是关于在Cloudera Data Hub (CDH) 6.3.2环境下编译和集成Apache Flink 1.12.4的流程。CDH是一个流行的Hadoop发行版，它提供了一套完整的大数据处理工具，包括...
CDH6.3.2集成flink1.14.5 parcel
07-26
7. **测试集成**：集成后，应通过运行简单的Flink作业来验证其功能，例如流处理或批处理任务，确保Flink可以在CDH环境中正常运行和处理数据。 8. **监控和维护**：集成后的系统需要监控其性能和稳定性，确保Flink...
CDH6.3.2集成Flink1.14.4
04-18
1、资源包括commons-cli-1.5.0，flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0放入flink的lib包下使用 2、部署过程中有Redaction rules file doesn't exist, not redacting logs. file: redaction-rules.json和...
Flink和Spark中文乱码问题
IT_xhf的专栏
06-08 1691
近期开发Flink CDC 读取mysql数据写入到HDFS，发现写入中文乱码，排查了数据库编码和文件编码都没有问题，后来网上查了一些资料，修改flink.conf文件，新增如下内容 Spark中文乱码 也排查了数据库编码和文件编码没有问题，在程序启动参数中新增–conf spark.executor.extraJavaOptions=“-Dfile.encoding=UTF-8” --conf spark.driver.extraJavaOptions=“-Dfile.encoding=UTF-8” 完整
flink写入HDFS中文乱码
songjifei的专栏
03-25 2226
客户端埋点日志进行解析时需要获取地区编码和名称，程序是通过flink分布式缓存将地区编码和名称数据传到每个task节点进行读取。本地测试时没有问题，但是部署到集群数据写入hdfs后发现中文乱码，代码如下： //设置分布式缓存文件地址 StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnv...
Flink on Yarn
代码人的自白
07-13 1789
Flink on Yarn 运行原理 第一种：内存集中管理模式 1.启动flink集群 client端需要配置环境变量： YARN_CONF_DIR HADOOP_CONF_DIR HADOOP_HOME 2 ./bin/yaen-session.sh -n 2 -jm 1024 -tm 1024 -d //-n 2 表示指定两个容器 // -jm 102...
Hive/Spark 整库导出/导入脚本
Laurence的技术博客
08-21 561
1. 整库导出为一个SQL文件 database="<your-database-name>" cat << EOF > $database.sql drop database if exists $database cascade; create database if not exists $database; use $database; EOF for table in $(beeline -n hadoop -u jdbc:hive2:// --showHeade
flink web页面中文乱码解决
仙道Bob的专栏
10-29 2572
flink on yarn运行，web页面task managers logs和stdout中文显示均乱码(全都问号)，解决办法如下： 修改flink-1.11.0/conf/flink-conf.yaml 增加一行： env.java.opts: "-Dfile.encoding=UTF-8" 重启flink程序即可
CDH平台yarn下发送邮件中文乱码
qq_36470898的博客
05-19 476
在windows 和linux 环境下执行程序。发送邮件都是正常。 但是将程序通过yarn管理运行。 使用jmail 发送邮件，邮件的中文内容乱码。 首先先打印yarn 的编码 println(System.getProperty("file.encoding")) 打印结果 ，得出yarn的编码。 ANSI_X3.4-1968 通过网上查资料，只需要在代码中指定。 System.setProperty("mail.mime.charset","UTF-8"); 之后发送的邮件就正常。 ...
spark on yarn 中文乱码
weixin_43370502的博客
08-02 2752
最近接了个云端日志项目，Logstash采集日志，抛到kafka集群，有sparkstreaming进行数据转，根据className查询redis获取相关提交人以及日期带出来，抛到rocketmq供其他部门使用，细节省略； 在spark-submit 提交代码到集群或者客户端运行的时候出现乱码，遇到这种情况，想到的就是编码问题， 因为在在本地运行spark streaming是可以处理中文的，放...
cdh部署flink on yarn
09-29
CDH是一种大数据处理平台，而Flink是一种流处理框架，这里讲述了如何使用CDH平台来部署Flink在YARN上。 首先，将Flink的二进制文件下载到CDH集群的一个节点上。然后，在Flink的conf目录中，编辑flink-conf.yaml配置文件。在该文件中，需要确保以下配置项正确设置： 1. flink.yarn.execution-mode: 设置为yarn-session，表示将Flink作为YARN上的一个会话运行。 2. yarn.application.name: 设置一个适当的名称，用于在YARN资源管理器中显示。 3. yarn.queue: 设置为YARN调度队列的名称，以确定Flink的调度优先级。 4. yarn.container.memory-mb: 设置每个Flink任务容器（TaskManager）的内存大小，以MB为单位。 5. yarn.container.vcores: 设置每个Flink任务容器（TaskManager）的虚拟内核数。 接下来，在CDH集群上启动一个YARN会话来运行Flink。输入以下命令： ``` ./bin/yarn-session.sh -n <number_of_taskmanagers> ``` 其中，`<number_of_taskmanagers>`表示要启动的Flink任务管理器（TaskManager）的数量。这将创建一个YARN应用程序，运行Flink并分配所需的资源。 一旦Flink会话在YARN上成功启动，就可以通过Web界面或Flink命令行工具来监控和管理任务。 需要注意的是，在CDH上部署Flink时，确保所使用的Flink版本与CDH版本兼容。此外，在配置Flume、Kafka等外部数据源时，也要根据具体需求进行相应的配置。 总结来说，通过正确配置Flink的运行模式、资源分配和调度优先级，然后在CDH集群上启动Flink的YARN会话，即可实现Flink在YARN上的部署。这样可以充分利用CDH平台的资源管理和任务调度功能，来处理大规模的流数据。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值