flink输出中文乱码

最新推荐文章于 2024-07-16 15:02:18 发布
最新推荐文章于 2024-07-16 15:02:18 发布
阅读量303 收藏
点赞数 1
分类专栏： flink 文章标签： flink flink中文乱码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37759590/article/details/139991128
版权

flink输出中文乱码

在这里插入图片描述
（1）首先在/etc/profile.d/my_env.sh中加入下面这行数据

export LANG=zh_CN.UTF-8

（2）其次在flink配置文件中指定编码

[xxx@hadoop102 flink-1.13.6]$ vim conf/flink-conf.yaml

加入下面这行数据

env.java.opts: "-Dfile.encoding=UTF-8"

效果：
在这里插入图片描述

m0_37759590
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Flink编码：FlinkSQL全面指南
foureyes
11-25 2083
文章目录1. FlinkSQL定位2. 流与表的对偶性3. 持续查询/增量计算4. 回撤流5. Flink 1.11关于SQL的增强5.1 DDL写法5.2 主键5.3 Catalog6. JOIN算子6.1 双流JOIN原理6.1.1 Inner Join6.1.2 Left Join6.1.3 State数据结构7. 窗口7.1 OverWindow7.1.1 基于数据条目的overwindow7.1.2 基于时间的overwindow7.2 GroupWindow7.2.1 滚动窗口7.2.2 滑动窗
Flink和Spark中文乱码问题
IT_xhf的专栏
06-08 1652
近期开发Flink CDC 读取mysql数据写入到HDFS，发现写入中文乱码，排查了数据库编码和文件编码都没有问题，后来网上查了一些资料，修改flink.conf文件，新增如下内容 Spark中文乱码 也排查了数据库编码和文件编码没有问题，在程序启动参数中新增–conf spark.executor.extraJavaOptions=“-Dfile.encoding=UTF-8” --conf spark.driver.extraJavaOptions=“-Dfile.encoding=UTF-8” 完整
Flink 日志中文乱码
weixin_53803675的博客
04-08 1576
通过Web界面查看Flink日志，在Log打印出现中文乱码， 这种情况下可以在flink.conf. yaml加上 env.java.opts: “-Dfile.encoding=UTF-8”
flink web页面中文乱码解决
仙道Bob的专栏
10-29 2538
flink on yarn运行，web页面task managers logs和stdout中文显示均乱码(全都问号)，解决办法如下： 修改flink-1.11.0/conf/flink-conf.yaml 增加一行： env.java.opts: "-Dfile.encoding=UTF-8" 重启flink程序即可
Flink 问题记录
文报的博客
10-31 1万+
1.集群突然宕机 找到Master节点的日志 vi 打开 Shift + g 跳到文件最后一行 Shift + n 查询任务名称找到对应的id 进入hdfs hadoop fs -ls /flink-checkpoints | grep 任务ID 找到id对应的checkPoint目录 进入目录 获取/flink-checkpoints/a1cb4cadb79c74ac8d3c7a11b6...
flink实例开发-详细使用指南
热门推荐
大数据技术博客
03-10 5万+
Flink入门及实战-上： http://edu.51cto.com/sd/07245 Flink入门及实战-下： http://edu.51cto.com/sd/5845e flink实例开发-详细使用指南 配置一个maven项目 编写一个flink程序 编程实战：编写一个向kafka写数据的程序在集群运行 flink整合kafka 在本指南中，我们将从头开始，从flink项...
flink写入HDFS中文乱码
songjifei的专栏
03-25 2212
客户端埋点日志进行解析时需要获取地区编码和名称，程序是通过flink分布式缓存将地区编码和名称数据传到每个task节点进行读取。本地测试时没有问题，但是部署到集群数据写入hdfs后发现中文乱码，代码如下： //设置分布式缓存文件地址 StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnv...
flink中文教程.zip
03-02
Flink中文教程主要涵盖了分布式流处理框架Apache Flink的核心概念、使用方法以及实践案例，旨在帮助初学者和开发者深入理解并熟练运用Flink。以下是对这些主题的详细阐述： 1. **概念**： - **流处理**：Flink是一...
Flink 中文文档资料.zip
01-17
Flink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料....
Flink1.11中文文档
01-11
Flink 1.11 中文文档 Flink 是一个开源的分布式处理引擎，用于实时处理大规模数据流。Apache Flink 1.11 是 Flink 的一个版本，提供了许多新的功能和改进。下面是 Flink 1.11 中文文档的知识点总结： 1. Apache ...
Flink CDC 同步表至Paimon 写数据流程，write算子和commit算子。
weixin_47467016的博客
07-14 652
流程图一般基本flink cdc 任务同步数据至paimon表时包含3个算子，source、write、global commit。source端一般是flink connector实现的连接源端进行获取数据的过程，本文探究的是source算子获取的到数据如何传递给writer算子？writer算子如何写数据？global commit算子做了什么事情？第一问：默认根据primary key的hash值决定往哪个桶写入，一个桶对应了一个lsm tree writer。
【图解大数据技术】流式计算：Spark Streaming、Flink
weixin_43889578的博客
07-13 1068
Flink 和 Spark Streaming 不一样，Flink 一开始设计就是为了做实时流式计算的。它可以监听消息队列获取数据流，也可以用于计算存储在 HDFS 等存储系统上的数据（Flink 把 这些静态数据当做数据流来进行处理）。然后 Flink 计算后生成的结果流，也可以发送到其他存储系统。
Hologres+Flink企业级实时数仓核心能力介绍
科技很有意思
07-12 1012
Hologres+Flink企业级实时数仓核心能力介绍
70、Flink 的 DataStream Connector 之 JDBC 连接器详解
猫猫爱吃小鱼粮
07-16 328
Flink 的 DataStream Connector 之 JDBC 连接器详解
Flink实时开发添加水印的案例分析
linweidong的专栏
07-12 434
在Flink中，处理时间序列数据时，通常需要考虑事件时间和水印（watermarks）的处理。
高性能存储 SIG 月度动态：优化 xfs dax reflink 时延，独立选型并维护 mdadm 和 ledmon
最新发布
weixin_60347558的博客
07-16 546
（PR3142/PR3144/PR3147）[Improment] 增加 XFS_IOC_SET_REFLINK_FLAGS 的检查条件，并导出 xfs_wait_reflink_secondary()。（PR3281/PR3285/PR3287）[Performance] 优化 xfs_log_force() 可能存在的数十 ms 阻塞导致的 reflink 抖动。[Bugfix] ring_buffer：修复 ring_buffer_free_read_page() 中潜在的空指针解引用。
传感器实训霍尔件无损探伤.doc
07-16
传感器
flink 读parquet乱码
06-02
如果使用Flink读取Parquet文件时遇到乱码问题，可以尝试以下解决方法： 1. 确认输入文件编码格式是否正确，可以使用其他工具先检查一下文件内容是否正常。 2. 确认Flink环境的编码设置是否正确，可以在启动Flink Job时添加参数 -Dfile.encoding=utf-8 来设置编码格式。 3. 确认Flink和Parquet版本是否兼容，可以尝试升级Flink或Parquet的版本来解决问题。 4. 尝试使用其他方式读取Parquet文件，例如使用Hadoop的ParquetInputFormat来读取文件，看是否能解决乱码问题。 如果以上方法都无法解决问题，可以考虑联系Flink社区或Parquet开发者寻求帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

m0_37759590

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值