canal安装

最新推荐文章于 2024-02-28 16:54:29 发布

枫叶-哈哈

最新推荐文章于 2024-02-28 16:54:29 发布

阅读量205

点赞数

分类专栏：学无止境

本文链接：https://blog.csdn.net/fangye1/article/details/108894607

版权

学无止境专栏收录该内容

10 篇文章 0 订阅

订阅专栏

参考文档

阿里Canal部署安装小白教程
 canal原理的一些学习-1（canal的一些原理性介绍）
ClientAPI
AdminGuide

修改mysql配置

对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，修改mysql的my.cnf文件

找到 mysql的my.cnf文件：

 mysql –help | grep my.cnf

在这里插入图片描述
修改 /etc/my.cnf 文件：

vim /etc/my.cnf

添加一下配置：

log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

mysql添加canal用户

mysql用户创建可查看mysql创建用户

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

安装canal

下载canal

点击 canal 下载canal
在这里插入图片描述
上传 canal.deployer-1.1.5-SNAPSHOT.tar.gz 到linux服务器，解压文件

mkdir /tmp/canal
tar zxvf canal.deployer-$version.tar.gz  -C /tmp/canal

解压后可以看到一下目录：
conf 配置文件
logs 日志
bin 启动，停止，重启等sh,bat文件
…

配置修改

vim /tmp/canal/conf/example/instance.properties

## mysql serverId ，唯一就行
canal.instance.mysql.slaveId = 1234
#position info，需要改成自己的数据库信息
canal.instance.master.address = 127.0.0.1:3306 
canal.instance.master.journal.name = 
canal.instance.master.position = 
canal.instance.master.timestamp = 
#canal.instance.standby.address = 
#canal.instance.standby.journal.name =
#canal.instance.standby.position = 
#canal.instance.standby.timestamp = 
#username/password，需要改成自己的数据库信息
canal.instance.dbUsername = canal  
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8
#table regex
canal.instance.filter.regex = .\*\\\\..\*

说明：

canal.instance.filter.regex  ： mysql 数据解析关注的表，Perl正则表达式.多个正则之间以逗号(,)分隔，转义符需要双斜杠(\\)

常见例子：

1.  所有表：.*   or  .*\\..*
2.  canal schema下所有表： canal\\..*
3.  canal下的以canal打头的表：canal\\.canal.*
4.  canal schema下的一张表：canal\\.test1
5.  多个规则组合使用：canal\\..*,mysql.test1,mysql.test2 (逗号分隔)

启动

sh  /tmp/canal/bin/startup.sh

查看日志

 tail -n 500 /tmp/canal/logs/canal/canal.log

在这里插入图片描述
没报错就是启动成功。但canal启动成功，不代表 example 启动成功。还需要查看 example 的运行日志。

 tail -n 500 /tmp/canal/logs/example/example.log

在这里插入图片描述
没报错就代表启动成功了

开发canal的防火墙端口

firewall-cmd --zone=public --add-port=11111/tcp --permanent
firewall-cmd --reload

java简单实例

引用jar包，build.gradle 文件添加以下配置

compile group: 'com.alibaba.otter', name: 'canal.client', version: '1.1.4'


import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.Message;

import java.net.InetSocketAddress;
import java.util.List;

public class CanalClient {

    public static void main(String[] args) {
        new Thread(() -> initConnector("example")).start();
    }

    private static void initConnector(String destination) {
        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("192.168.16.128", 11111), destination, "", "");
        System.out.println("初始化成功");
        try {
            connector.connect();
            // 如果subscribe中filter信息为空，则直接使用canal server服务端配置的filter信息,设置了则以本次提交的为准
            connector.subscribe(".*\\..*");
            connector.rollback();
            while (true) {
                Message message = connector.getWithoutAck(100);
                try {
                    if (message.getId() != -1 && message.getEntries().size() > 0) {
                        printEntry(message.getEntries());
                    }
                    connector.ack(message.getId());
                } catch (Exception e) {
                    connector.rollback(message.getId());
                }
            }
        } finally {
            connector.disconnect();
        }
    }

    private static void printEntry(List<Entry> entrys) {
        for (Entry entry : entrys) {
            if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {
                continue;
            }

            RowChange rowChage = null;
            try {
                rowChage = RowChange.parseFrom(entry.getStoreValue());
            } catch (Exception e) {
                throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(), e);
            }

            CanalEntry.EventType eventType = rowChage.getEventType();
            System.out.println(String.format("================> binlog[%s:%s] , name[%s,%s] , eventType : %s",
                    entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
                    entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
                    eventType));

            for (CanalEntry.RowData rowData : rowChage.getRowDatasList()) {
                if (eventType == CanalEntry.EventType.DELETE) {
                    printColumn(rowData.getBeforeColumnsList());
                } else if (eventType == CanalEntry.EventType.INSERT) {
                    printColumn(rowData.getAfterColumnsList());
                } else {
                    System.out.println("-------> before");
                    printColumn(rowData.getBeforeColumnsList());
                    System.out.println("-------> after");
                    printColumn(rowData.getAfterColumnsList());
                }
            }
        }
    }

    private static void printColumn(List<CanalEntry.Column> columns) {
        for (CanalEntry.Column column : columns) {
            System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());
        }
    }
}

数据库 canal_tsdb 表 user 结构如下：

CREATE TABLE `user` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '唯一标识',
  `name` varchar(100) NOT NULL COMMENT '名称',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8mb4;

表 user 添加数据 1，小明，运行结果如下：
在这里插入图片描述
表 user 修改数据小明 -> 小红，运行结果如下：

表 user 删除id=1的数据，运行结果如下：

canal原理

mysql可以布置多台，一个master，多个slave。master 会把每次的操作记录保存到binary log 文件中。slave有一线程从master的binary log 读取记录，并记录到本地的relay log中。另一个线程读取relay log的操作记录，重新执行一边。最终slave和master的数据一致。

图一
在这里插入图片描述
canal 就是把自己伪装成slave，读取master 的 binary log 文件，解析归纳消费。

canal server 是canal的一个部署服务器

canal instance 是canal server 中某一个mysql instance，在canal 中叫做 destionation 。一个canal server 可以有多个 instance，这说明canal 可以连接多个数据源，把数据合并归流，统一分析。

图二
在这里插入图片描述
图三

event parser 类似图一的 I/O thread。从 mysql master的binary log 读取操作，分析解析。event parse 读取模式pull ，不是 producer push。当event store 的内存存储满了时，event parser线程会受阻。

event sink 数据的归集，使用设置的filter对bin log进行过滤

event store 用来存储filter过滤后的数据，canal目前的数据只在这里存储。目前只有一种 MemoryEventStoreWithBuffer，内部使用了一个ringbuffer 也就是说canal解析的数据都是存在内存中的。这个ringbuffer大小是有限制的(bufferSize = 16 * 1024 也就是16M)，所以，当canal的客户端消费比较慢的时候,ringbuffer中存满了就会阻塞sink操作，那么正读取mysql binlog的eventParser线程也会受阻。

meta manager 用来存储一些原数据，比如消费到的游标，当前活动的server等信息。这个比较多，其实根据元数据存放的位置可以分为三大类，memory,file,zookeeper

canal client 开发者可以自由实现代码，消费 canal server中的数据。如上面的简单实例。

枫叶-哈哈

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
canal安装

参考文档阿里Canal部署安装小白教程canal原理的一些学习-1（canal的一些原理性介绍）修改mysql配置对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，修改mysql的my.cnf文件找到 mysql的my.cnf文件： mysql –help | grep my.cnf 修改 /etc/my.cnf 文件：vim /etc/my.cnf添加一下配置：log-bin=mysql-bin # 开启 binl
复制链接

扫一扫