【Flink】Error during binlog processing last offset stored = null binglog reader near position

最新推荐文章于 2024-11-07 11:21:01 发布
最新推荐文章于 2024-11-07 11:21:01 发布
阅读量2.2k 收藏
点赞数
分类专栏： 大数据-kafka 文章标签： flink kafka
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/120443547
版权
大数据-kafka 专栏收录该内容
403 篇文章 641 订阅 ¥99.90 ¥299.90
订阅专栏
这篇原创文章由博主九师兄探讨了在使用Flink读取MySQL binlog时遇到的错误——'Error during binlog processing last offset stored = null'。问题可能由于binlog过早删除或找不到特定binlog文件导致。建议检查MySQL的日志过期设置，并参考StackOverflow上的解决方案防止binlog过快过期。
摘要由CSDN通过智能技术生成

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

文章目录


在这里插入图片描述

1.概述

flink 读取mysql binglog的时候报错如下 Error during binlog processing last offset stored = null binglog reader near position

对应的代码如下

在这里插入图片描述

在这里插入图片描述
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Debezium报错处理系列之第110篇： ERROR Error during binlog processing.Access denied
zhengzaifeidelushang的博客
07-05 284
Debezium报错处理系列之第110篇：ERROR Error during binlog processing. Last offset stored = null, binlog reader near position = /4 Access denied; you need at least one of the REPLICATION SLAVE privilege for this operation
mysql binlog出错_MySQL mysqlbinlog 读取mysql-bin文件出错
weixin_42405503的博客
01-27 1004
问题mysqlbinlog -v -v --base64-output=DECODE-ROWS mysql-bin.000166 | lessERROR: Error in Log_event::read_log_event(): 'Found invalid event in binary log', data_len: 111, event_type: 35/*!50530 SET @@...
Debezium for MySQL解析binlog报错
码农无双的博客
08-07 5875
运行在Kafka Connect 分布式worker上的debezium for mysql connector报错： {"name":"debezium-mysql-source-dev","connector":{"state":"RUNNING","worker_id":&q
Debezium指定binlog位置初始化异常排查修复
yyoc97的专栏
05-17 3634
文章目录异常现象如何复现排查定位线索定位 异常现象 最近项目需要使用Debezium指定binlog位置读取数据，当配置FileDatabaseHistory 保存offset就会出现无法识别schema异常。 14:52:18.237 [blc-9.135.12.10:3307] ERROR io.debezium.connector.mysql.MySqlStreamingChangeEventSource - Encountered change event 'Event{header=EventHe
记录一次阿里云flink生产故障
xiaoye1360715890的博客
02-22 1529
flink,未知column type导致空指针,作业异常
flink-mysql-cdc源表配置变动导致作业失效
Tango小黄的博客
07-08 2847
如果修改了flink-mysql-cdc配置的表名范围，导致出现一个新的表，那么无论如何都无法将该表加入到状态中
Flink cdc +doris生产遇到的问题汇总-持续更新
qq_31866793的博客
02-14 1万+
版本： Flink版本 1.13 Flink cdc版本 2.1.1 场景说明： 使用flink cdc stream api 读取mysql整库数据直接写入doris 大概100G数据量，大概几十个表，大表小表，字段多，字段少，单个字段类型复杂等等情况都包含了。 出现情况： 任务运行一段时间之后挂掉，出现问题： 2022-02-11 18:33:59,461 INFO com.ververica.cdc.connectors.mysql.source.enumerator.My.
mysql binlog出错_MySQL 读取Binlog日志常见的3种错误
weixin_32886135的博客
01-19 1077
1. mysqlbinlog: [ERROR] unknown variable 'default-character-set=utf8mb4'当我们在my.cnf中添加default-character-set=utf8mb4选项，那么在mysqlbinlog查看binlog时就会报错。解决方案：.mysqlbinlog 后面添加 --no-defaults 选项例如：mysql bin可执行文...
FlinkCDC作业处理慢追不上binlog产生的速度，导致binlog被清理的解决方案
weixin_43777152的博客
02-14 3737
Caused by: java.lang.IllegalStateException: The connector is trying to read binlog starting at Struct{version=1.6.4.Final,connector=mysql,name=mysql_binlog_source,ts_ms=1668149633760,db=,server_id=0,file=mysql-bin.003889,pos=116719908,row=0}, but this is n
Binlog中最容易踩到的坑
justlpf的专栏
09-30 5532
Binlog的作用 MySQL高可用架构中，主库复制是非常常见的一种。 当主库宕机后，可以提升一个从库作为新的主库，保证服务可用性；同时可以通过扩展从库，提高整个集群的QPS。 在主从复制架构下，MySQL通过binlog来实现主从数据的一致性。 如上图，MySQL主从复制主要有以下步骤   1. master将改变记录到binary log中 2. slave io_thread去请...
mysql guanwnag_Error while deserializing binlog event at offset
热门推荐
weixin_39781945的博客
02-01 1万+
执行同步操作的时候提示如下错误，如何排查此类问题：2020-11-30 20:49:05,118 ERROR io.debezium.connector.mysql.BinlogReader [] - Error while deserializing binlog event at offset {ts_sec=1606736089, file=mysql...
Mysql开启binlog后启动失败
epitomizelu的专栏
12-09 4497
一，开启mysql日志 在/etc/my.cnf文件中添加配置： log-bin=mysql-bin binlog_format=row binlog-do-db=mydb 二，开启后重启失败 报错信息： Job for mysql.service failed because the control process exited with error code. See "systemctl status mysql.service" and "journalctl -xe" for details.
flume高并发优化——（16）解决offsets变小问题
ESOO
07-31 2594
offsets初始化在上篇博客中《flume高并发优化——（14）解决空行停止收集数据问题，及offsets变小问题 》我们遗留了一个小问题，就是offsets变小的问题，迟迟未解决，经过研究flume代码发现，flume中，是自己管理offsets关系的，每个kafkachannel的代码中保留了一份topic-offsets的关系，源码：@Override public void start
[实战-11] FlinkSql 设置时区对TIMESTAMP和TIMESTAMP_LTZ的影响
笔生花的博客
10-31 488
设置flink程序运行期间得时区，flink的内置数据类型TIMESTAMP(3)， 我们设置水位线都是基于TIMESTAMP(3)类型，当我们flinkSql 查询flink表的时候，因为时区不同 TIMESTAMP 展示给我们的字符串也是不同的。mysql时区是Asia/Shanghai。
【架构-37】Spark和Flink
qq_45611002的博客
11-07 191
架构和运行时模型 Spark 批处理为核心的架构扩展：Spark 最初是为批处理设计的，其架构以弹性分布式数据集（RDD）为核心。RDD 是一种分布式的内存抽象，可以让用户在集群上进行高效的并行计算。在 Spark 中，计算被划分为一系列的阶段（Stage），通过转换（Transformation）和行动（Action）操作来构建计算逻辑。例如，用户可以通过对 RDD 进行 map（映射）、reduce（归约）等转换操作来处理数据，当执行行动操作（如 collect、count）时，才会触发真正的计算过程
Caused by: org.apache.flink.api.common.io.ParseException: Row too short:
最新发布
ycsdn10的博客
11-07 63
path为文件地址， fieldDelimiter为分隔符，文件内容是字段|字段的格式，所以fieldDelimiter为|通过flink中的flinkSql直接使用对应的connector去获取csv文件内容，报获取的数据太短了。在获取csv的时候，没有设置分割符，导致整个csv内容识别异常，匹配不上。1.创建的表字段多于csv文件当中的表头。
连接kafka消息队列报org.apache.kafka.clients.NetworkClient异常
Borny鼎鼎的博客
11-07 82
启动kafka后，连接kafka消息队列报org.apache.kafka.clients.NetworkClient异常。检查kafka运行日志，报The broker is trying to join the wrong cluster异常。修改kafka日志目录的meta.properties文件的cluster.id值。最后再重启kafka，连接恢复正常。
flink mysql binlog
06-09
您的问题不太明确，请问您需要了解关于Flink和MySQL Binlog的整合吗？如果是的话，我可以为您提供一些简单的介绍。 Flink是一个分布式流处理框架，而MySQL Binlog是MySQL数据库的一个功能，可以将数据库操作以二...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值