java工具：一个基于binlog-connector-java和redis的表监控工具

已于 2023-12-31 02:30:16 修改
阅读量575 收藏 9
点赞数 8
分类专栏： 开发工具 文章标签： java 开发语言 后端 开源 开源软件 数据库 mysql
于 2023-12-28 02:41:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KylinHunter/article/details/135259210
版权

项目地址

https://github.com/kylin-hunter/k-commons/tree/main/k-jdbc

文章目录

前言

一个基于binlog-connector-java和redis的表监控工具

实现的功能包括:

  1. 监控某些特定表的变化，并将表内行的增删改行为，记录到特定一个或者多个记录表中
  2. 提供被监控表的行变化回调函数，用以执行特定的逻辑

可以参考基于时间戳扫描的另一种实现方式：一个基于时间戳扫描的表监控工具

一、设计说明

在这里插入图片描述

  1. 利用 mysql-binlog-connector-java工具包，读取mysql的binlog
  2. 读取过的位置记录在redis中，下次启动时，从redis中读取上次的位置
  3. 被监控的表的变化，会被记录存储在一个或者几个固定的记录表中，表结构如下：
   CREATE TABLE IF NOT EXISTS `k_junit_table_monitor_binlog`
   (
   `db`               varchar(64) NOT NULL COMMENT 'database',
   `table_name`       varchar(64) NOT NULL COMMENT 'table-name',
   `sys_auto_updated` datetime    NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 'sys update time',
   `data_id`          varchar(64) NOT NULL COMMENT 'data_id',
   `retry_times`      tinyint     NOT NULL DEFAULT 0 COMMENT 'retry times',
   `op`               tinyint     NOT NULL DEFAULT 0 COMMENT '1、insert 2、update 3、delete',
   `status`           tinyint(4)  NOT NULL DEFAULT 0 COMMENT '0 wait，1 processing，2 success，3、retrying，4、error',
   PRIMARY KEY (`db`, `table_name`, `data_id`)
   );
  1. 监控表的变化，会触发回调函数，需要用户自己实现 RowListener 接口，写针对行变化的业务逻辑

二、使用步骤

1 引入库

1.1 编译并发布到本地

        gradle clean build publishToMavenLocal-x test

1.2 gradle (gradle.org)


        implementation'io.github.kylin-hunter:k-jdbc:1.0.6'
        // 也可以直接去中央仓库去搜索下载：https://central.sonatype.com/search?q=k-jdbc

1.3 maven (maven.apache.org)


        <dependency>
          <groupId>io.github.kylin-hunter</groupId>
            <artifactId>k-jdbc</artifactId>
          <version>1.0.6</version>
        </dependency>
        // 也可以直接去中央仓库去搜索下载：https://central.sonatype.com/search?q=k-jdbc

1.4 其他依赖说明

    // mysql 驱动
    implementation("mysql:mysql-connector-java")
    // 读取binlog的工具包
    implementation 'com.zendesk:mysql-binlog-connector-java'
    // redis 驱动 用以存储binlog的记录的暂存点
    implementation 'io.lettuce:lettuce-core'
    // json 用以存储json在redis中的序列化
    implementation("com.fasterxml.jackson.core:jackson-databind")
    implementation("com.fasterxml.jackson.datatype:jackson-datatype-jsr310")

2 示例

2.1 测试前准备被监控的表


CREATE TABLE IF NOT EXISTS `k_junit_jdbc_role1`
(
    `id`                    varchar(64)  NOT NULL COMMENT '主键',
    `sys_tenant_id`         varchar(64)  NOT NULL DEFAULT '' COMMENT '租户ID',
    `sys_auto_updated`      datetime     NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '系统更新时间',
    `sys_created_user_id`   varchar(64)  NOT NULL default 0 COMMENT '创建人userid',
    `sys_created_user_name` varchar(64)  NOT NULL default '' COMMENT '创建人username',
    `sys_created_time`      datetime     NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
    `sys_update_user_id`    varchar(64)  NOT NULL default 0 COMMENT '最后编辑人userid',
    `sys_update_user_name`  varchar(64)  NOT NULL default '' COMMENT '最后编辑人username',
    `sys_update_time`       datetime     NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '最后编辑时间',
    `sys_delete_flag`       tinyint      NOT NULL DEFAULT 0 COMMENT '0 未删除 1删除',
    `sys_op_lock`           int          NULL DEFAULT 0 COMMENT '乐观锁',
    `code`                  varchar(64)  NOT NULL DEFAULT '' COMMENT 'code',
    `name`                  varchar(64)  NOT NULL DEFAULT '' COMMENT 'name',
    `type`                  tinyint      NOT NULL DEFAULT 0 COMMENT '类型',
    `status`                tinyint      NOT NULL DEFAULT 0 COMMENT '角色状态，预留',
    `description`           varchar(255) NOT NULL DEFAULT '' COMMENT '描述',
    PRIMARY KEY (`id`),
    UNIQUE KEY `uniq_role_code` (`code`) COMMENT '唯一的code'
);

CREATE TABLE IF NOT EXISTS `k_junit_jdbc_role2`
(
    `id`                    varchar(64)  NOT NULL COMMENT '主键',
    `sys_tenant_id`         varchar(64)  NOT NULL DEFAULT '' COMMENT '租户ID',
    `sys_auto_updated`      datetime     NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '系统更新时间',
    `sys_created_user_id`   varchar(64)  NOT NULL default 0 COMMENT '创建人userid',
    `sys_created_user_name` varchar(64)  NOT NULL default '' COMMENT '创建人username',
    `sys_created_time`      datetime     NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
    `sys_update_user_id`    varchar(64)  NOT NULL default 0 COMMENT '最后编辑人userid',
    `sys_update_user_name`  varchar(64)  NOT NULL default '' COMMENT '最后编辑人username',
    `sys_update_time`       datetime     NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '最后编辑时间',
    `sys_delete_flag`       tinyint      NOT NULL DEFAULT 0 COMMENT '0 未删除 1删除',
    `sys_op_lock`           int          NULL DEFAULT 0 COMMENT '乐观锁',
    `code`                  varchar(64)  NOT NULL DEFAULT '' COMMENT 'code',
    `name`                  varchar(64)  NOT NULL DEFAULT '' COMMENT 'name',
    `type`                  tinyint      NOT NULL DEFAULT 0 COMMENT '类型',
    `status`                tinyint      NOT NULL DEFAULT 0 COMMENT '角色状态，预留',
    `description`           varchar(255) NOT NULL DEFAULT '' COMMENT '描述',
    PRIMARY KEY (`id`),
    UNIQUE KEY `uniq_role_code` (`code`) COMMENT '唯一的code'
);


INSERT INTO k_junit_jdbc_role1 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('1', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:19:45', '0', '', '2023-12-09 15:19:45', 0, 0, '1', '1', 0, 0, '');
INSERT INTO k_junit_jdbc_role1 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('2', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', 0, 0, '2', '2', 0, 0, '');
INSERT INTO k_junit_jdbc_role1 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('3', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', 0, 0, '3', '3', 0, 0, '');
INSERT INTO k_junit_jdbc_role1 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('4', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', 0, 0, '4', '4', 0, 0, '');
INSERT INTO k_junit_jdbc_role1 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('5', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', 0, 0, '5', '5', 0, 0, '');
INSERT INTO k_junit_jdbc_role1 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('6', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', 0, 0, '6', '6', 0, 0, '');
INSERT INTO k_junit_jdbc_role1 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,  sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('7', '', '2023-12-09 15:20:02', '0', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', 0, 0, '7', '7', 0, 0, '');


INSERT INTO k_junit_jdbc_role2 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('1', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:19:45', '0', '', '2023-12-09 15:19:45', 0, 0, '1', '1', 0, 0, '');
INSERT INTO k_junit_jdbc_role2 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('2', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', 0, 0, '2', '2', 0, 0, '');
INSERT INTO k_junit_jdbc_role2 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('3', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', 0, 0, '3', '3', 0, 0, '');
INSERT INTO k_junit_jdbc_role2 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('4', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', 0, 0, '4', '4', 0, 0, '');
INSERT INTO k_junit_jdbc_role2 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('5', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', 0, 0, '5', '5', 0, 0, '');
INSERT INTO k_junit_jdbc_role2 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('6', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', 0, 0, '6', '6', 0, 0, '');
INSERT INTO k_junit_jdbc_role2 (id, sys_tenant_id, sys_auto_updated, sys_created_user_id,sys_created_user_name, sys_created_time, sys_update_user_id, sys_update_user_name, sys_update_time, sys_delete_flag, sys_op_lock, code, name, type, status, description) VALUES ('7', '', '2023-12-09 15:20:02', '0', '', '2023-12-09 15:21:02', '0', '', '2023-12-09 15:21:02', 0, 0, '7', '7', 0, 0, '');

2.2 示例代码


package io.github.kylinhunter.jdbc;

import io.github.kylinhunter.commons.jdbc.binlog.bean.BinConfig;
import io.github.kylinhunter.commons.jdbc.binlog.savepoint.imp.RedisSavePointManager;
import io.github.kylinhunter.commons.jdbc.binlog.savepoint.redis.ClusterRedisConfig;
import io.github.kylinhunter.commons.jdbc.binlog.savepoint.redis.ClusterRedisExecutor;
import io.github.kylinhunter.commons.jdbc.binlog.savepoint.redis.RedisExecutor;
import io.github.kylinhunter.commons.jdbc.binlog.savepoint.redis.SingleRedisConfig;
import io.github.kylinhunter.commons.jdbc.binlog.savepoint.redis.SingleRedisExecutor;
import io.github.kylinhunter.commons.jdbc.exception.FastFailException;
import io.github.kylinhunter.commons.jdbc.monitor.TableMonitor;
import io.github.kylinhunter.commons.jdbc.monitor.bean.Table;
import io.github.kylinhunter.commons.jdbc.monitor.binlog.BinTableMonitor;
import io.github.kylinhunter.commons.jdbc.monitor.binlog.bean.BinMonitorConfig;
import io.github.kylinhunter.commons.jdbc.monitor.binlog.bean.BinTable;
import io.github.kylinhunter.commons.jdbc.monitor.task.AbstractRowListener;
import lombok.extern.slf4j.Slf4j;

class TestBinTableMonitorZh {

  /**
   * 获取RedisSavePointManager实例，用于保存binlog 读取 的 进度点
   *
   * @return RedisSavePointManager实例（单机版redis）
   */
  public static RedisSavePointManager getRedisSavePointManagerForSingle() {
    SingleRedisConfig redisConfig = new SingleRedisConfig();
    redisConfig.setHost("127.0.0.1");
    redisConfig.setPort(6379);
    redisConfig.setPassword("123456");
    RedisExecutor redisExecutor = new SingleRedisExecutor(redisConfig);
    return new RedisSavePointManager(redisExecutor);
  }

  /**
   * 获取RedisSavePointManager实例，用于保存binlog 读取 的 进度点
   *
   * @return RedisSavePointManager实例 (集群版redis）
   */

  public static RedisSavePointManager getRedisSavePointManagerForCluster() {
    ClusterRedisConfig redisConfig = new ClusterRedisConfig();
    redisConfig.addNode("127.0.0.1", 7361);
    redisConfig.addNode("127.0.0.1", 7362);
    redisConfig.addNode("127.0.0.1", 7363);
    redisConfig.addNode("127.0.0.1", 7364);
    redisConfig.addNode("127.0.0.1", 7365);
    redisConfig.addNode("127.0.0.1", 7366);

    redisConfig.setPassword("123456");
    RedisExecutor redisExecutor = new ClusterRedisExecutor(redisConfig);
    return new RedisSavePointManager(redisExecutor);
  }

  /**
   * 获取BinConfig对象，用于指定读取那个mysql的哪个binlog文件名
   *
   * @return BinConfig 返回一个BinConfig对象
   */
  public static BinConfig getBinLogConfig() {
    BinConfig binConfig = new BinConfig();
    binConfig.setBinlogFilename("binlog.000047"); // 指定binlog文件名
    binConfig.setBinlogPosition(0); // 指定binlog文件起始位置
    binConfig.setUrl(
        "jdbc:mysql://localhost:3306/kp?useUnicode=true&characterEncoding=utf8&useSSL=false&allowPublicKeyRetrieval=true&allowMultiQueries=true&serverTimezone=Asia/Shanghai");
    binConfig.setUsername("root");
    binConfig.setPassword("root");
    binConfig.setSavePointManager(getRedisSavePointManagerForCluster()); // 指定保存binlog读取进度点

    return binConfig;
  }


  /**
   * 获取BinMonitorConfig实例
   *
   * @return BinMonitorConfig实例
   */
  public static BinMonitorConfig getBinMonitorConfig() {
    BinMonitorConfig monitorConfig = new BinMonitorConfig();

    BinTable binTable = new BinTable(); // 指定监控的表
    binTable.setPkColName("id"); // 指定主键列名
    binTable.setDatabase("kp"); // 指定数据库名
    binTable.setTableName("k_junit_jdbc_role1"); // 指定表名
    binTable.setDestination("k_junit_table_monitor_binlog"); // 指定监控信息保存在哪里，表结构在上面定义的
    monitorConfig.add(binTable);
    monitorConfig.setMaxRetryTimes(3); // 指定失败重试次数 3
    // monitorConfig.add(binTable2); 支持多个表
    return monitorConfig;
  }


  /***
   * @title 测试行变化的回调函数
   */
  @Slf4j
  public static class TestRowListener extends AbstractRowListener {

    /**
     * @param table  table
     * @param dataId dataId
     * @title insert
     * @description insert
     * @author BiJi'an
     * @date 2023-12-28 17:08
     */
    @Override
    public void insert(Table table, String dataId) {
      log.info("inser to ,tableName:{},dataId:{}", table.getTableName(), dataId);
      // 模拟业务处理
      if (dataId.equals("1")) {
        log.info("模拟处理  数据1  insert 事件处理 成功 。。。。。。");
      } else if (dataId.equals("2")) {
        throw new FastFailException("模拟处理 数据2  的 insert 事件处理 快速失败 ，不再处理 。。。。。。");
      } else {
        throw new RuntimeException("模拟处理其他数据的 insert 事件，发生失败 ,默认会重试3次....");
      }
    }

    /**
     * @param table  table
     * @param dataId dataId
     * @title update
     * @description update
     * @author BiJi'an
     * @date 2023-12-28 17:08
     */
    @Override
    public void update(Table table, String dataId) {
      log.info("update to tableName:{},dataId:{}", table.getTableName(), dataId);
      // 模拟业务处理
      if (dataId.equals("1")) {
        log.info("模拟处理  数据1  insert 事件处理 成功 。。。。。。");
      } else if (dataId.equals("2")) {
        throw new FastFailException("模拟处理 数据2  的 update 事件处理 快速失败 ，不再处理 。。。。。。");
      } else {
        throw new RuntimeException("模拟处理其他数据的 update 事件，发生失败 ,默认会重试3次....");
      }
    }

    /**
     * @param table  table
     * @param dataId dataId
     * @title delete
     * @description delete
     * @author BiJi'an
     * @date 2023-12-28 17:08
     */
    @Override
    public void delete(Table table, String dataId) {
      log.info("delete to tableName:{},dataId:{}", table.getTableName(), dataId);
      // 模拟业务处理
      if (dataId.equals("1")) {
        log.info("模拟处理  数据1  insert 事件处理 成功 。。。。。。");
      } else if (dataId.equals("2")) {
        throw new FastFailException("模拟处理 数据2  的 update 事件处理 快速失败 ，不再处理 。。。。。。");
      } else {
        throw new RuntimeException("模拟处理其他数据的 delete 事件，发生失败 ,默认会重试3次....");
      }
    }
  }

  /**
   * 测试入口
   */

  public static void main(String[] args) {
    TableMonitor tableMonitor = new BinTableMonitor(getBinLogConfig(), getBinMonitorConfig());
    tableMonitor.reset(); // 重置暂存点，如果需要重新读取binlog，需要调用该方法
    tableMonitor.setRowListener(new TestRowListener()); // 设置回调函数
    tableMonitor.start(); // 启动监控
  }
}

2.3 最终结果

  查看监控记录表中最新状态
  SELECT t.* FROM k_junit_table_monitor_binlog t

在这里插入图片描述

观察上图可以看到

  1. 表j_junit_jdbc_role1的row （1） 用户拿到了相关事件，并且处理成功 status=2
  2. 表j_junit_jdbc_role1的row （2） 用户拿到了相关事件，并且主动放弃处理,设置为失败 status=4
  3. 表j_junit_jdbc_role1的row （3-7） 用户拿到了相关事件，并且一直处理不成功，重试四次后，最终失败status=4
羲圣
关注
  • 8
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
使用mysql-binlog-connector-java监听数据库修改
weixin_42323655的博客
04-21 393
【代码】使用mysql-binlog-connector-java监听数据库修改。
mysql-binlog-connector-java:mysql-binlog-connector-java
05-21
mysql-binlog-connector-java MySQL Binary Log连接器。 最初，项目是作为的分支开始的，但最终作为完整的重写而结束。 主要差异/特征： 自动binlog文件名/位置解析 可恢复的断开连接 可插拔故障转移策略 JMX暴露（可选地带有统计信息） Maven Central的可用性 没有第三方依赖 binlog_checksum支持（适用于MySQL 5.6.2+用户） 不同版本MySQL发行版的测试套件 用法 从获取最新的JAR。 或者，您可以包括以下Maven依赖关系（可通过Maven Central获得）： < dependency> < groupId>com.github.shyiko</ groupId> < artifactId>mysql-binlog-connector-java</ artifactI
使用 mysql-binlog-connector 监听处理 MySQLBinlog 文件
最新发布
小单的博客专栏
05-23 583
业务开发中经常需要根据一些数据变更实现相对应的操作。例如，一些用户注销自己的账户，系统可以给用户自动发短信确认，这时有两种解决方案，一种是耦合到业务系统中，当用户执行注销操作的时候，执行发短信的操作，既是是通过MQ也是要耦合业务代码的，第二种方案基于数据库层面的操作，通过监听binlog实现自动发短信操作，这样就可以与业务系统解耦。本示例主要基于mysql-binlog-connector实现对数据库的监听，并集成springboot的方案。
Java 监听Mysql binlog
阿萨的专栏
08-03 2921
java如何监听binlog
ARTS打卡计划第二周-Tips-mysql-binlog-connector-java的使用
weixin_34343000的博客
04-28 171
最近发现一个挺不错的框架mysql-binlog-connector-java，可以实时监控binlog的变化。 首先检查mysql的binlog是否开启，在开启的情况下： 引入依赖 <dependency> <groupId>com.github.shyiko</groupId> <artifactId>my...
mysql-binlog-connector-java：MySQL二进制日志连接器
02-26
mysql-binlog-connector-java 注意：该存储库不再维护。 我建议迁移到 。 MySQL Binary Log连接器。 最初，项目是作为的分支开始的，但最终作为完整的重写而结束。 主要差异/特征： 自动binlog文件名/位置| GTID解析度 可恢复的断开连接 可插拔故障转移策略 binlog_checksum = CRC32支持（对于MySQL 5.6.2+用户） 通过TLS进行安全通信 对JMX友好 实时统计 Maven Central的可用性 没有第三方依赖 不同版本MySQL发行版的测试套件 如果您正在寻找其他语言的类似内容，请查看 （Go）， （Python）。 用法 从获取最新的JAR。 或者，您可以包括以下Maven依赖关系（可通过Maven Central获得）： < dependency> < groupId>com.git
java 使用 mysql-binlog-connector-java 同步Mysql数据
热门推荐
哈士奇
04-10 1万+
一、前言       关于MySql的数据同步，一般的方法是读取mysql的日志binlog文件，来获取数据的变更，进行同步的。       现在开源的项目中有监听mysql binlog的工具有很多： mysql-binlog-connector-java canal ......
springboot-binlog:基于 mysql-binlog-connector-java 实现增量数据的收集
05-26
`springboot-binlog`项目就是针对这一需求的一个解决方案，它利用`mysql-binlog-connector-java`库来实现MySQL数据库的增量数据捕获。以下是对该项目及相关技术的详细解释。 ### SpringBoot与MySQL Binlog **...
mysql-binlog-connector-java-0.21.0-API文档-中文版.zip
07-13
赠送jar包：mysql-binlog-connector-java-0.21.0.jar； 赠送原API文档：mysql-binlog-connector-java-0.21.0-javadoc.jar； 赠送源代码：mysql-binlog-connector-java-0.21.0-sources.jar； 赠送Maven依赖信息文件：...
mysql-binlog-connector-java-0.21.0.jar
08-15
sqlserver日志分析jar包
mysql-binlog-connector-java-0.21.0.jar中文-英文对照文档.zip
03-09
注：下文中的 *** 代表文件名中的组件名称。 # 包含： 中文-英文对照文档：【***-javadoc-API文档-中文(简体)-英语-对照版.zip】 jar包下载地址：【***.jar下载地址(官方地址+国内镜像地址).txt】 Maven依赖：【***.jar Maven依赖信息(可用于项目pom.xml).txt】 Gradle依赖：【***.jar Gradle依赖信息(可用于项目build.gradle).txt】 源代码下载地址：【***-sources.jar下载地址(官方地址+国内镜像地址).txt】 # 本文件关键字： 中文-英文对照文档,中英对照文档,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法： 解压 【***.jar中文文档.zip】，再解压其中的 【***-javadoc-API文档-中文(简体)版.zip】，双击 【index.html】 文件，即可用浏览器打开、进行查看。 # 特殊说明： ·本文档为人性化翻译，精心制作，请放心使用。 ·本文档为双语同时展示，一行原文、一行译文，可逐行对照，避免了原文/译文来回切换的麻烦； ·有原文可参照，不再担心翻译偏差误导； ·边学技术、边学英语。 ·只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； ·不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件；
Java的mysql数据库驱动包mysql-connector-java-5.1.0-bin.jar
12-13
连接mysql数据库必须的jar包，将下载好的文件解压，然后选择项目点击右键Build path——》configure build path——》Libraries——》add external jars
详解监听MySQL的binlog日志工具分析：Canal
12-14
Canal是阿里巴巴旗下的一款开源项目，利用Java开发。主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费，目前主要支持MySQL。 GitHub地址：https://github.com/alibaba/canal 在介绍Canal内部原理之前，首先来了解一下MySQL Master/Slave同步原理： MySQL master启动binlog机制，将数据变更写入二进制日志（binary log, 其中记录叫做二进制日志事件binary log events，可以通过show binlog events进行查看）MySQL slave（I/O thread）将mast
spring boot使用mysql-binlog-connector-java解析mysql binlog日志（实时+离线）
lgq2016的博客
08-25 7227
mysql binlog获取解析，在线和离线两种方式
binlog解析Demo：通过mysql-binlog-connector-java解析binlog二进制文件
xiaobailx的博客
10-06 5451
1.引入依赖 <dependency> <groupId>com.github.shyiko</groupId> <artifactId>mysql-binlog-connector-java</artifactId> <version>0.18.1</version> </depen...
通过mysql-binlog-connector-java监控 MySQL 的 binlog
不负好时光
08-02 5843
假设这样一个业务场景，我们需要关注一个业务系统数据库中某几张表的数据，当数据发生新增或修改时，将它同步到另一个业务系统数据库中的表中。 一提到数据库的同步，估计大家第一时间想到的就是基于binlog的主从复制了，但是放在我们的场景中，还有几个问题： 第一，并不是需要复制所有表的数据，复制对象只有少量的几张表； 第二，也是比较麻烦的，两个业务系统数据库表结构可能不一致。例如，要同步数据库1的A表中的某些字段到数据库2的B表中，在这一过程中，A表和B表的字段并不是完全相同。 这样的话，我们只能通过代码的方式
mysql binlog java_美丽的蝴蝶/mysql-binlog-connector-java
weixin_31054839的博客
01-18 526
mysql-binlog-connector-java MySQL Binary Log connector.Initially project was started as a fork of open-replicator,but ended up as a complete rewrite. Key differences/features:automatic binlog filena...
使用mysql-binlog-connector-java监听mysql的binlog
Fuly的博客
08-19 859
mysql监听的binlog
mysql-binlog-connector 实现对数据库的监听
qq_43479493的博客
04-03 2133
通过mysql-binlog-connector实现对数据库的监听，轻量级实现方案，适用于小型项目。
mysql-binlog-connector-java 的使用
10-19
mysql-binlog-connector-java是一个开源项目，它是一个二进制日志监听器，可以用于监听MySQL数据库的二进制日志，并将其转换为可读的事件流。使用mysql-binlog-connector-java可以实现MySQL数据库的实时数据同步、数据备份等功能。使用mysql-binlog-connector-java的步骤如下： 1. 下载mysql-binlog-connector-java的jar包，并将其添加到项目的classpath中。 2. 创建一个BinlogConnector对象，并设置MySQL数据库的连接信息。 3. 调用BinlogConnector对象的start方法，开始监听MySQL数据库的二进制日志。 4. 实现BinlogEventListener接口，并将其注册到BinlogConnector对象中，用于处理监听到的事件。 5. 在BinlogEventListener接口的实现中，根据监听到的事件进行相应的处理。 需要注意的是，使用mysql-binlog-connector-java需要对MySQL数据库的二进制日志有一定的了解，同时需要对Java编程有一定的掌握。如果您需要更详细的使用说明，可以参考mysql-binlog-connector-java的官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羲圣

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值