2021-06-11，flinkx 实时数据采集 mysql binlog

最新推荐文章于 2024-05-14 09:51:31 发布
最新推荐文章于 2024-05-14 09:51:31 发布
阅读量1.2k 收藏
点赞数
分类专栏： flinkx 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010978399/article/details/117808595
版权

flinkx 实时数据采集 mysql binlog

Binlog插件基本原理

实时采集插件的核心是如何实时捕获数据库数据的变更，对于MySQL数据库而言，阿里开源的Canal已经很好的帮我们实现了基于MySQL数据库增量日志解析，提供增量数据订阅和消费功能。因此这里我们直接用Canal捕获MySQL数据库数据的变更信息，基于FlinkX框架将任务简化成脚本的配置，基于Flink的Checkpoint机制提供了任务的故障恢复，提高了任务的容错性。

基本步骤如下：

  1. 任务启动时启动Canal线程
  2. Canal模拟MySQL slave的交互协议，伪装自己为MySQL slave，向MySQL master发送dump协议
  3. MySQL master收到dump请求，开始推送Binary Log给slave(即Canal)
    Canal解析Binary Log 对象(原始为Byte流)
  4. FlinkX获取Canal解析后的对象做二次解析，封装后发送至下游数据源
吃素的哈士奇
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Flink1.8实时数仓项目实战
08-26
《Flink1.8实时数仓项目实战》课程主要基于Flink**稳定版本进行讲解，课程包含Flink DataSet、容错、Connector、Flink SQL以及实时数仓项目。希望通过本课程的学习，大家能快速掌握Flink 批处理和Flink SQL，并通过实时数仓项目快速积累项目经验。
FlinkSQL 读写 MySQL
L, there!
10-22 7537
package com.sm.job import com.sm.utils.FlinkUtils import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment import org.apache.log4j.Level import org.slf4j.LoggerFactory /** * flinkSQL 读写 mysql .
Flink监听bin-log日志
胡榕昆的博客
04-12 3218
前置条件 一、开启Mysql的binlog日志。 修改mysql配置文件 在[mysqld]下添加如下： log_bin=mysql-bin binlog-format=ROW server-id=1 完整配置如下： [mysql] default-character-set=utf8 [mysqld] character-set-server=utf8 default-storage-engine=INNODB max_allowed_packet = 2048M group_c
Flink解析binlog方案
bigdata_users的博客
05-12 4590
01、在项目中加入maven依赖 <dependency> <groupId>com.alibaba.otter</groupId> <artifactId>canal.client</artifactId> <version>1.1.4</version> </dependency> 02、在自定义的实现类中传入的是kafka传来的binlog，string格式，后续我们仅需要将binlog解析打入到k
Flink通过Maxwell读取mysql的binlog发送到kafka再写入mysql
小健的博客
04-25 1211
JDK1.8MySQLZookeeperKakfaMaxweillIDEA查看binlog 状态，是否开启 如果log_bin显示为ON，则代表已开启。如果是OFF 说明还没开启。[Linux] 编辑 /etc/my.cnf 文件，在[mysqld]后面增加 重启mysql 服务 再次查看binlog 状态[Windows] 编辑 mysql安装目录 下 my.ini 文件，在[mysqld]后面增加 如上 linux 一样 2.2.2启动 Kakfa 2.2.3创建 kafka-t
Flink CDC 基于mysql binlog 实时同步mysql表
qq_41875667的博客
06-25 3423
环境说明： flink1.15.2 mysql 版本5.7 注意：需要开启binlog，因为增量同步是基于binlog捕获数据 windows11 IDEA 本地运行 先上官网使用说明和案例：MySQL CDC Connector — Flink CDC documentation 1. mysql开启binlog (注意，引擎是 InnoDB,如果是ndbcluster，本人测试是捕获不到binlog日志的，增量相当于没用，不知道是不是ndbcluster 下的binlog 配置是否有问
Flink消费binlog消息丢弃过期的消息
iKuboo
01-04 607
一般通过订阅mysql的binlog 异构数据到别的存储，如ES。 大概的流程为通过databus或者canal 这样的组件订阅binlog，发送kafka队列，通过flink消费kafka。因为我们这边业务比较特殊，导致mysql数据的变更有尖刺的情况，在业务高峰期数据变更的QPM为60W/分钟，flink最大的消费能力为20W/分钟，在这种消费速度和生产速度不对等的情况，ES的数据有会10分钟以上的延时。 因此需要提升flink的的并发数，但是当flink的并发数大于kafka p...
flink通过binlog实现mysql为数据源的实时计算
weixin_43943806的博客
05-28 5632
前提条件 1.开通了mysql的binlog 2.有flink的环境 需要的依赖包 <dependency> <groupId>com.alibaba.ververica</groupId> <artifactId>flink-connector-mysql-cdc</artifactId> <version>1.3.0</version>
mysql-binlog-connector-java-0.21.0-API文档-中文版.zip
07-13
赠送jar包：mysql-binlog-connector-java-0.21.0.jar； 赠送原API文档：mysql-binlog-connector-java-0.21.0-javadoc.jar； 赠送源代码：mysql-binlog-connector-java-0.21.0-sources.jar； 赠送Maven依赖信息文件：...
mysql-binlog-connector-java-0.21.0.jar
08-15
sqlserver日志分析jar包
springboot-binlog:基于 mysql-binlog-connector-java 实现增量数据的收集
05-26
springboot-binlog基于 实现数据库增量数据的收集详见:
mysql-binlog-connector-java：MySQL二进制日志连接器
02-26
mysql-binlog-connector-java 注意：该存储库不再维护。 我建议迁移到 。 MySQL Binary Log连接器。 最初，项目是作为的分支开始的，但最终作为完整的重写而结束。 主要差异/特征： 自动binlog文件名/位置| GTID...
mysql-binlog-connector-java:mysql-binlog-connector-java
05-21
mysql-binlog-connector-java MySQL Binary Log连接器。 最初，项目是作为的分支开始的，但最终作为完整的重写而结束。 主要差异/特征： 自动binlog文件名/位置解析 可恢复的断开连接 可插拔故障转移策略 JMX暴露...
Flink从入门到实践（三）：数据实时采集 - Flink MySQL CDC
秃了也弱了
02-08 2728
注意MySQL的版本，本次是使用MySQL8.0进行演示。同时，Flink支持很多数据库的cdc。同时也要对应好版本，我们本次使用Flink是1.18，同时FlinkCDC也是3.0版本System . out . println("数据库：" + split [ 1 ]);System . out . println("表：" + split [ 2 ]);
Flink实战 - Binlog日志并对接Kafka实战
微信搜：import_bigdata，大数据领域硬核原创作者
12-30 907
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！对于 Flink 数据流的处理，...
基于mysql binlog和flink broadcast实现配置动态更新
lilyjoke的专栏
04-20 1006
在flink流式计算中，需要动态的更新配置，而无需重启作业进程。通过mysql binlog机制，可以实现配置的变化并可以捕获这一变化；通过flink的broadcast机制，可以将这一动态变化广播到业务流，并进行相应的逻辑处理，最终实现配置的动态更新。 下面写一个简单的demo，仅供平时学习积累使用。 CDC CDC全称Change Data Capture，变动数据捕获。它的核心思想是，监测并捕获数据库的变动，将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 m
监听mysql bin文件,使用Binlog+FlinkCDC实时监控数据
weixin_42514521的博客
03-27 4409
一、MySql的Binlog1、什么是Binlog1)binlog是二进制日志，并且是事务安全性2)binlog记录了所有的DDL和DML(除了数据查询语句)语句，并以事件的形式记录,还包含语句所执行的消耗的时间3)一般来说开启二进制日志大概会有1%的性能损耗。2、Binlog使用场景1)使用binlog恢复数据2)在项目中动态监听mysql中变化的数据3、Binlog开启1)在MySQL的配置文...
flink实时数仓(二):mysql主备以及binglog
张不帅
01-06 1595
文章目录mysql主备复制实现MySQL Binary LogSTATMENT模式基于行的复制(row-based replication, RBR)：混合模式复制(mixed-based replication, MBR)： mysql主备复制实现 1.master将改变记录到二进制日志(binary log) 中（这些记录叫做二进制日志事件，binary log events，可以通过sho...
30、Flink 的故障恢复详解
最新发布
猫猫爱吃小鱼粮
05-14 1269
Flink 的故障恢复详解
mysql-binlog-connector-java是否影响mysql性能
05-12
mysql-binlog-connector-java 是一个基于 Java 的 MySQL binlog 客户端，它可以实时捕获 MySQL 数据库的 binlog 信息，并将其转换为 Java 对象。它本身并不会对 MySQL 的性能造成直接影响，因为它是基于 MySQL 的 binlog 实现的，而不是直接访问 MySQL 数据库。 但是，在使用 mysql-binlog-connector-java 时需要注意以下几点，以免对 MySQL 的性能造成间接影响： 1. 频繁的 binlog 读取会增加 MySQL 的负载，因此应该根据实际情况合理配置 binlog 的写入频率和 mysql-binlog-connector-java 的读取频率，避免过度消耗 MySQL 的资源。 2. 如果使用 mysql-binlog-connector-java 对 MySQL 进行实时同步，需要注意网络带宽和延迟等问题，以免对 MySQL 的性能造成影响。 总的来说，mysql-binlog-connector-java 本身不会对 MySQL 的性能造成直接影响，但是在使用时需要注意一些细节问题，避免对 MySQL 的性能造成间接影响。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值