Redis与MySQL数据双写一致性工程落地案例

在instance.properties文件中，换成自己的mysql的IP地址

换成自己的在mysql新建的canal账户

4.启动 在

/mycanal/canal.deployer-1.1.5/bin路径下执行：./startup.sh

5.查看 server 日志

6.查看 instance 的日志

canal客户端(Java编写业务程序)

1.建module：canal_demo

2.改POM

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns=“http://maven.apache.org/POM/4.0.0” xmlns:xsi=“http://www.w3.org/2001/XMLSchema-instance”

xsi:schemaLocation=“http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd”>

4.0.0

org.springframework.boot

spring-boot-starter-parent

2.3.5.RELEASE

com.zzyy.study

canal_demo

0.0.1-SNAPSHOT

canal_demo

Demo project for Spring Boot

<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

<maven.compiler.source>1.8</maven.compiler.source>

<maven.compiler.target>1.8</maven.compiler.target>

<junit.version>4.12</junit.version>

<log4j.version>1.2.17</log4j.version>

<lombok.version>1.16.18</lombok.version>

<mysql.version>5.1.47</mysql.version>

<druid.version>1.1.16</druid.version>

<mybatis.spring.boot.version>1.3.0</mybatis.spring.boot.version>

com.alibaba.otter

canal.client

1.1.0

com.google.guava

guava

23.0

org.springframework.boot

spring-boot-starter-web

org.springframework.boot

spring-boot-starter-actuator

org.springframework.boot

spring-boot-starter-data-redis

org.apache.commons

commons-pool2

redis.clients

jedis

3.1.0

org.springframework.boot

spring-boot-starter-aop

org.redisson

redisson

3.13.4

mysql

mysql-connector-java

5.1.47

com.alibaba

druid-spring-boot-starter

1.1.10

com.alibaba

druid

${druid.version}

com.alibaba

druid

${druid.version}

org.mybatis.spring.boot

mybatis-spring-boot-starter

${mybatis.spring.boot.version}

org.springframework.boot

spring-boot-starter-amqp

junit

junit

${junit.version}

org.springframework.boot

spring-boot-devtools

runtime

true

org.springframework.boot

spring-boot-starter-test

test

log4j

log4j

${log4j.version}

org.projectlombok

lombok

${lombok.version}

true

cn.hutool

hutool-all

RELEASE

compile

com.alibaba

fastjson

1.2.73

org.springframework.boot

spring-boot-maven-plugin

3.写YML server.port=5555

4.业务类 RedisUtils，如下：

package com.zzyy.study.util;

import redis.clients.jedis.Jedis;

import redis.clients.jedis.JedisPool;

import redis.clients.jedis.JedisPoolConfig;

/**

• @auther zzyy

• @create 2020-10-11 14:33

*/

public class RedisUtils

{

public static JedisPool jedisPool;

static {

JedisPoolConfig jedisPoolConfig=new JedisPoolConfig();

jedisPoolConfig.setMaxTotal(20);

jedisPoolConfig.setMaxIdle(10);

jedisPool=new JedisPool(jedisPoolConfig,“192.168.111.147”,6379);

}

public static Jedis getJedis() throws Exception {

if(null!=jedisPool){

return jedisPool.getResource();

}

throw new Exception(“Jedispool is not ok”);

}

/*public static void main(String[] args) throws Exception

{

try(Jedis jedis = RedisUtils.getJedis())

{

System.out.println(jedis);

jedis.set(“k1”,“xxx2”);

String result = jedis.get(“k1”);

System.out.println("-----result: "+result);

System.out.println(RedisUtils.jedisPool.getNumActive());//1

}catch (Exception e){

e.printStackTrace();

}

}*/

}

RedisCanalClientExample，如下：

package com.zzyy.study.t1;

import com.alibaba.fastjson.JSONObject;

import com.alibaba.otter.canal.client.CanalConnector;

import com.alibaba.otter.canal.client.CanalConnectors;

import com.alibaba.otter.canal.protocol.CanalEntry.*;

import com.alibaba.otter.canal.protocol.Message;

import com.zzyy.study.util.RedisUtils;

import org.springframework.beans.factory.annotation.Autowired;

import redis.clients.jedis.Jedis;

import java.net.InetSocketAddress;

import java.util.List;

import java.util.concurrent.TimeUnit;

/**

• @auther zzyy

• @create 2020-11-11 17:13

*/

public class RedisCanalClientExample

{

public static final Integer _60SECONDS = 60;

public static void main(String args[]) {

// 创建链接canal服务端

CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(“192.168.111.147”,

11111), “example”, “”, “”);

int batchSize = 1000;

int emptyCount = 0;

try {

connector.connect();

//connector.subscribe(“.\…”);

connector.subscribe(“db2020.t_user”);

connector.rollback();

int totalEmptyCount = 10 * _60SECONDS;

while (emptyCount < totalEmptyCount) {

Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据

long batchId = message.getId();

int size = message.getEntries().size();

if (batchId == -1 || size == 0) {

emptyCount++;

try { TimeUnit.SECONDS.sleep(1); } catch (InterruptedException e) { e.printStackTrace(); }

} else {

emptyCount = 0;

printEntry(message.getEntries());

}

connector.ack(batchId); // 提交确认

// connector.rollback(batchId); // 处理失败, 回滚数据

}

System.out.println(“empty too many times, exit”);

} finally {

connector.disconnect();

}

}

private static void printEntry(List entrys) {

for (Entry entry : entrys) {

if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {

continue;

}

RowChange rowChage = null;

try {

rowChage = RowChange.parseFrom(entry.getStoreValue());

} catch (Exception e) {

throw new RuntimeException(“ERROR ## parser of eromanga-event has an error,data:” + entry.toString(),e);

}

EventType eventType = rowChage.getEventType();

System.out.println(String.format(“================> binlog[%s:%s] , name[%s,%s] , eventType : %s”,

entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),

entry.getHeader().getSchemaName(), entry.getHeader().getTableName(), eventType));

for (RowData rowData : rowChage.getRowDatasList()) {

if (eventType == EventType.INSERT) {

redisInsert(rowData.getAfterColumnsList());

} else if (eventType == EventType.DELETE) {

redisDelete(rowData.getBeforeColumnsList());

} else {//EventType.UPDATE

redisUpdate(rowData.getAfterColumnsList());

}

}

}

}

private static void redisInsert(List columns)

{

JSONObject jsonObject = new JSONObject();

for (Column column : columns)

{

System.out.println(column.getName() + " : " + column.getValue() + " update=" + column.getUpdated());

jsonObject.put(column.getName(),column.getValue());

}

if(columns.size() > 0)

{
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

总结

总的来说，面试是有套路的，一面基础，二面架构，三面个人。

最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
)]

[外链图片转存中…(img-tFhMcaR3-1713277146570)]

[外链图片转存中…(img-9oLELWiM-1713277146570)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

总结

总的来说，面试是有套路的，一面基础，二面架构，三面个人。

最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友

[外链图片转存中…(img-TOt5Sg3E-1713277146571)]

[外链图片转存中…(img-MkHZEsqg-1713277146571)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！