MySql自动同步主库数据（Canal）

MySql自动同步主库数据（Canal）

上篇文章介绍了MongoDB数据库模拟从库实现主从复制效果，不会影响线上数据，本文介绍MySql模拟从库实现主从复制。

• Find Action Ctrl+Shift+A，在此对话框中输入想操作的英文立即出现想的操作

• System.out.println输入sout即可

• for循环N输入N.for即可

• return n;输入n.return即可

• 离线写博客

• 导入导出Markdown文件

• 丰富的快捷键

---

MySql主从复制原理

MySql主从复制指数据从一个MySql复制到一个或多个MySql服务器中，基于binlog采用异步复制直接IO，这样数据访问不用一直访问主库来完成，主库负责修改，从库负责读取，实现读写分离。

• master会将变更数据存入binlog文件中。
• slave连接主库时主库会开启一个dump线程发送binlog内容。
• slave会启动一个I\O Thread请求主库发送binlog记录并保存到中继日志中。
• 从库启动Sql Thread线程读取中继日志，本地重放，使得数据与主库保持一致，最后I/O Thread和SQL Thread将进入睡眠状态，等待下一次被唤醒。

总结：

• 从库生成两个线程I/O Thread、Sql Thread。
• I/O Thread请求主库binlog并写到中继日志（relay-log）中。
• 主库生成一个dump线程，给从库传binlog。
• Sql线程读取中继日志解析并执行成sql

Canal原理

canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议，MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流) —— [ 官网地址 ]

下载源码修改：conf/example/instance.properties文件

//设置主库IP和端口
canal.instance.master.address=IP:端口
//设置同步开始时间（毫秒），可忽略
canal.instance.master.timestamp=

启动canal：/bin/startup.sh

本文用的阿里云服务，不需要有多过设置，其它小伙伴参照官网配置一下即可。

代码

SimpleCanalClientExample.class

package canal;

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.common.utils.AddressUtils;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.Message;
import org.springframework.util.StringUtils;

import java.net.InetSocketAddress;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.List;

/**
 * @Author: LailaiMonkey
 * @Description：
 * @Date：Created in 2021-01-04 11:53
 * @Modified By：
 */
public class SimpleCanalClientExample {
   

    static Statement statement = null;

    public static void main(String args[]) {
   

        //获得存储sqlStatement
        getStatement();

        // 创建Canal链接
        CanalConnector connector = getCanalConnector();
        int batchSize = 10000;
        while (true) {
   
            // 获取指定数量的数据
            Message message = connector.getWithoutAck(batchSize);

            long batchId = message.getId();
            int size = message.getEntries().size();
            if (batchId == -1 || size == 0) {
   
                try {
   
                    Thread.sleep(1000);
                } catch (InterruptedException ignored) {
   
                }
            <