spring boot集成canal实现数据库同步,且mysql主库宕机canal自动切换到从库

该博客详细介绍了如何使用Spring Boot集成Canal监听MySQL数据库变化,并将变更同步到Kafka。同时,当主库宕机时,Canal能自动切换到从库,确保数据的连续性和一致性。文中还涉及到Canal客户端配置、Kafka消息发送以及消费者端的Kafka监听和数据处理。
摘要由CSDN通过智能技术生成

import java.util.Queue;

import java.util.concurrent.ConcurrentLinkedQueue;

/**

  • @Package: com.zks.canal.deploy

  • @ClassName: CanalClient

  • @Author: ZhouKaiShun

  • @CreateTime: 2021/9/13 11:54

  • @Description: canal客户端

*/

@Component

@Slf4j

public class CanalClient implements ApplicationRunner {

@Resource

private KafkaProducer kafkaProducer;

private final static int BATCH_SIZE = 1000;

/**

  • sql队列

*/

private Queue SQL_QUEUE = new ConcurrentLinkedQueue<>();

/**

  • 订阅的数据库表

*/

public static String SUBSCRIBE_DB_TABLE = “kaishun.tb_user”;

@Override

public void run(ApplicationArguments args) throws Exception {

log.info(“启动canal服务,端口号:7111”);

// 创建链接

CanalConnector connector = CanalConnectors.newSingleConnector(

new InetSocketAddress(“127.0.0.1”, 11111), “example”, “”, “”);

try {

//打开连接

connector.connect();

//订阅数据库表(全库全表:.\… 指定库全表:库名…* 单表:库名.表名 多规则组合使用:库名1…*,库名2.表名1,库名3.表名2 (逗号分隔))

connector.subscribe(SUBSCRIBE_DB_TABLE);

//回滚到未进行ack的地方,下次fetch的时候,可以从最后一个没有ack的地方开始拿

connector.rollback();

while (true) {

//尝试从master那边拉去数据batchSize条记录,有多少取多少

Message message = connector.getWithoutAck(BATCH_SIZE);

//获取批量ID

long batchId = message.getId();

//获取批量的数量

int size = message.getEntries().size();

//如果没有数据

if (batchId == -1 || size == 0) {

try {

//线程休眠2秒

Thread.sleep(2000);

} catch (InterruptedException e) {

e.printStackTrace();

}

} else {

//处理数据为sql

dataHandle(message.getEntries());

}

/设置队列sql语句执行最大值/

if (SQL_QUEUE.size() >= 1) {

executeQueueSql();

}

//进行 batch id 的确认。确认之后,小于等于此 batchId 的 Message 都会被确认。

connector.ack(batchId);

}

} catch (Exception e) {

e.printStackTrace();

} finally {

connector.disconnect();

}

System.out.println(“连接canal end”);

}

/**

  • @description: 处理队列里sql

  • @

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值