使用canal同步mysql到Java客户端

b2105859

已于 2024-01-29 09:05:39 修改

阅读量538

点赞数 11

文章标签： mysql java 数据库

于 2024-01-27 21:30:33 首次发布

本文链接：https://blog.csdn.net/b2105859/article/details/135886359

版权

1.配置binlog

1.1检查binlog是否开启

show variablws like 'log_bin';

on代表已开启，off代表未开启

1.2开启binlog

参考MySQL开启binlog

2.配置canal服务端

下载github下载canal-1.1.7-alpha-2
解压并打开conf/canal.properties并添加配置

canal.port = 11111
# tcp， kafka， rocketMQ， rabbitMQ， puTsarMQ
cana1.serverMode = tcp
cana1.destinations = example

canal.port: 默认端口11111
canal.serverMode: 服务模式，tcp 表示输入客户端，xxMQ输出到各类消息中间件canal.destinations: canal能可以收集多个MySOL数据库数据，每个MySQL数据库都有独立的配置文件控制。具体配置规则: conf/目录下，使用文件夹放置，文件夹名代表一个MySQL实例。canal.destinations用于配置需要监控数据的数据库。如果是多个，使用,隔开

修改MySQL实例配置文件instance.properties（需要监控的库）

canal.instance.mysq1.slaveId=20
#position info
cana1.instance.master.address=127.0.0.1:3306
#username/password
cana1.instance.dbusername=root
cana1.instance.dbPassword=admin

canalinstance.mysgl.slaveld: 使用canal 从阶段id
canal.instance.master.address: 数据库ip端口
canal.instance.dbUsername: 连接mysql账号
canalinstancedbPassword: 连接mysql密码
4. 启动
./bin/startup.sh

3.Java客户端

pom文件

<dependency>
	<groupId>com.alibaba.otter</groupId>
    <artifactId>canal.client</artifactId>
    <version>1.1.0</version>
</dependency>

Java代码

package com.ldl;

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;
import com.google.protobuf.ByteString;
import com.google.protobuf.InvalidProtocolBufferException;

import java.net.InetSocketAddress;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class CanalDemo {

    public static void main(String[] args) throws InvalidProtocolBufferException {
        //1.获取 canal 连接对象。配置项为canal的配置。在conf/canal.properties中
        CanalConnector canalConnector = CanalConnectors.
                newSingleConnector(new InetSocketAddress("192.168.68.129", 11111), "example", "", "");
        while (true) {
            //2.获取连接
            canalConnector.connect();
            //3.指定要监控的数据库
            canalConnector.subscribe("canal.*");
            //4.获取 Message
            Message message = canalConnector.get(100);
            //一条SQL 对应一个Entry
            List<CanalEntry.Entry> entries = message.getEntries();
            if (entries.size() <= 0) {
                System.out.println("没有数据");
                try {
                    Thread.sleep(5 * 1000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            } else {
                for (CanalEntry.Entry entry : entries) {
                    //entry --> Update SQL --->改动2条数据
                    // 获取表名
                    String tableName = entry.getHeader().getTableName();
                    //  Entry 类型
                    CanalEntry.EntryType entryType = entry.getEntryType();
                    //  判断 entryType 是否为 ROWDATA
                    if (CanalEntry.EntryType.ROWDATA.equals(entryType)) {
                        //  序列化数据
                        ByteString storeValue = entry.getStoreValue();
                        //  反序列化
                        CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(storeValue);
                        // 获取事件类型
                        CanalEntry.EventType eventType = rowChange.getEventType();
                        // 获取具体的数据
                        List<CanalEntry.RowData> rowDatasList = rowChange.getRowDatasList();
                        // 遍历并打印数据
                        for (CanalEntry.RowData rowData : rowDatasList) {
                            List<CanalEntry.Column> beforeColumnsList = rowData.getBeforeColumnsList();
                            Map<String, Object> bMap = new HashMap<>();
                            for (CanalEntry.Column column : beforeColumnsList) {
                                bMap.put(column.getName(), column.getValue());
                            }
                            Map<String, Object> afMap = new HashMap<>();
                            List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList();
                            for (CanalEntry.Column column : afterColumnsList) {
                                afMap.put(column.getName(), column.getValue());
                            }
                            System.out.println("表名:" + tableName + ",操作类型:" + eventType);
                            System.out.println("改前:" + bMap );
                            System.out.println("改后:" + afMap );
                        }
                    }
                }
            }
        }
    }
}