canal介绍及环境搭建：单机版、HA版

最新推荐文章于 2023-07-03 10:30:30 发布
最新推荐文章于 2023-07-03 10:30:30 发布
阅读量904 收藏 1
点赞数
分类专栏： canal java hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42448883/article/details/106900278
版权
java 同时被 3 个专栏收录
4 篇文章 0 订阅
订阅专栏
hbase
2 篇文章 0 订阅
订阅专栏
canal
1 篇文章 0 订阅
订阅专栏

canal介绍及环境搭建

canal介绍

canal简介

笔者最近在研究大数据方面的技术，用到了canal这个组件，研究心得写篇博客记录如下：
什么是canal？canal能干什么？canal工作原理？canal主要组成部分？如何搭建cananl环境？
1、什么是canal？
根据官网介绍，canal译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。
基于日志增量订阅和消费的业务包括

  • 数据库镜像
  • 数据库实时备份
  • 索引构建和实时维护(拆分异构索引、倒排索引等)
  • 业务 cache 刷新
  • 带业务逻辑的增量数据处理

2、canal工作原理？

  • canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送 dump 协议
  • MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
  • canal 解析 binary log 对象(原始为 byte 流)

在这里插入图片描述

3、canal主要组成部分？
在这里插入图片描述

说明：

  1. server代表一个canal运行实例，对应于一个jvm
  2. instance对应于一个数据队列 （1个server对应1…n个instance)

instance模块：

  • eventParser (数据源接入，模拟slave协议和master进行交互，协议解析)
  • eventSink (Parser和Store链接器，进行数据过滤，加工，分发的工作)
  • eventStore (数据存储)
  • metaManager (增量订阅&消费信息管理器)

mysql的BinLog

1、什么是mysql的binlog日志？
canal服务伪装成mysql的从节点，接收mysql主节点的binlog日志(binlog日志文件里面记录了数据库的实时操作)，然后解析binlog就知道mysql做了哪些操作。

canal单机版环境搭建

环境准备

0、环境准备

  • centos7系统
  • mysql8.0.20
  • canal1.1.4

1、mysql安装参考博客：mysql8.0.20
2、canal安装包：
2.1 官网下载
2.2 百度云下载:
链接：https://pan.baidu.com/s/1FVkeyY8M6KFr3bVARWjz_g
提取码：odqh

3、mysql配置：

下面展示一些 内联代码片。

 vim /etc/my.cnf

此文件下添加如下配置

log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

在这里插入图片描述
4.登录mysql：

**#是否启用了日志 NO表示开启  OFF表示关闭**
mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON    |
+---------------+-------+
1 row in set (0.00 sec)

**#当前的日志**
mysql> show master status;
+---------------+----------+--------------+------------------+-------------------+
| File          | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+---------------+----------+--------------+------------------+-------------------+
| binlog.000004 |     1797 |              |                  |                   |
+---------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

**#mysql binlog模式**
mysql> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
1 row in set (0.00 sec)

**#获取binlog文件列表**
mysql> show binary logs;
+---------------+-----------+-----------+
| Log_name      | File_size | Encrypted |
+---------------+-----------+-----------+
| binlog.000001 |      2335 | No        |
| binlog.000002 |       566 | No        |
| binlog.000003 |      4332 | No        |
| binlog.000004 |      1797 | No        |
+---------------+-----------+-----------+
4 rows in set (0.11 sec)

**#当前正在写入的binlog文件**
mysql> show master status\G
*************************** 1. row ***************************
             File: binlog.000004
         Position: 1797
     Binlog_Do_DB: 
 Binlog_Ignore_DB: 
Executed_Gtid_Set: 
1 row in set (0.00 sec)

**#指定binlog文件的内容**
mysql> show binlog events in 'binlog.000004';

[root@master ~]# mysql -uroot -proot   #我的mysql登录账号密码是root
**#添加canal mysql数据库账号**
mysql> CREATE USER canal IDENTIFIED BY 'canal';  
mysql> GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
mysql> FLUSH PRIVILEGES;

搭建Canal

1、将下载好的canal服务上传之centos系统；
2、在 /tmp 目录下创建文件，文件在重启后会被自动删除

[root@master example]# mkdir /tmp/canal
[root@master example]# tar zxvf canal.deployer-1.1.4.tar.gz

3、修改配置

# table meta tsdb info 数据库账号密码
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

4、启动canal
进入bin目录，执行命令：

[root@master bin]# ./startup.sh 
[root@master example]# cat /opt/canal/canal.deployer-1.1.4/logs/example/example.log

搭建canal-client

1、Maven pom.xml文件添加

   <dependency>
            <groupId>com.alibaba.otter</groupId>
            <artifactId>canal.client</artifactId>
            <version>1.1.4</version>
        </dependency>
        <dependency>
            <groupId>com.google.protobuf</groupId>
            <artifactId>protobuf-java</artifactId>
            <version>3.6.1</version>
        </dependency>
        <dependency>
            <groupId>io.grpc</groupId>
            <artifactId>grpc-netty</artifactId>
            <version>1.10.0</version>
        </dependency>

2、下面展示一些 客户端代码CanalClient.java。

package com.lixiang.canal;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.common.utils.AddressUtils;
import com.alibaba.otter.canal.protocol.Message;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.CanalEntry.RowData;

import java.net.InetSocketAddress;
import java.util.List;

public class CanalClient {
    public static void main(String args[]) {
        // 创建链接
        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("192.168.43.110",
                11111), "example", "", "");
        int batchSize = 1;
        int emptyCount = 0;
        try {
            connector.connect();
            connector.subscribe(".*\\..*");
            connector.rollback();
            while (true) {
                Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据
                long batchId = message.getId();
                int size = message.getEntries().size();
                if (batchId == -1 || size == 0) {
                    emptyCount++;
                    System.out.println("empty count : " + emptyCount);
                    try {
                        Thread.sleep(1000);
                    } catch (InterruptedException e) {
                    }
                } else {
                    emptyCount = 0;
                    // System.out.printf("message[batchId=%s,size=%s] \n", batchId, size);
                    printEntry(message.getEntries());
                }

                connector.ack(batchId); // 提交确认
                // connector.rollback(batchId); // 处理失败, 回滚数据
            }
        } finally {
            connector.disconnect();
        }
    }

    private static void printEntry(List<Entry> entrys) {
        for (Entry entry : entrys) {
            if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {
                continue;
            }

            RowChange rowChage = null;
            try {
                rowChage = RowChange.parseFrom(entry.getStoreValue());
            } catch (Exception e) {
                throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),
                        e);
            }

            EventType eventType = rowChage.getEventType();
            System.out.println(String.format("================&gt; binlog[%s:%s] , name[%s,%s] , eventType : %s",
                    entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
                    entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
                    eventType));

            for (RowData rowData : rowChage.getRowDatasList()) {
                if (eventType == EventType.DELETE) {
                    printColumn(rowData.getBeforeColumnsList());
                } else if (eventType == EventType.INSERT) {
                    printColumn(rowData.getAfterColumnsList());
                } else {
                    System.out.println("-------&gt; before");
                    printColumn(rowData.getBeforeColumnsList());
                    System.out.println("-------&gt; after");
                    printColumn(rowData.getAfterColumnsList());
                }
            }
        }
    }

    private static void printColumn(List<Column> columns) {
        for (Column column : columns) {
            System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());
        }
    }
}

3、启动canal服务:[root@master bin]# ./startup.sh
在这里插入图片描述
4、创建数据库，表，插入记录

# 创建数据库
create database employee;

use test;

# 创建表
create table t_user (  
id int (4) primary key not null auto_increment,  
name varchar(10) not null);  

# 插入记录
insert into test (name) values('lixiang');  

IDEA打印日志如下：

SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
================&gt; binlog[binlog.000004:1874] , name[employee,t_user] , eventType : ERASE
================&gt; binlog[binlog.000004:2092] , name[employee,t_user] , eventType : CREATE
empty count : 1
empty count : 2
empty count : 3
empty count : 4
================&gt; binlog[binlog.000004:2510] , name[employee,t_user] , eventType : INSERT
id : 1    update=true
name : lixiang    update=true
empty count : 1
empty count : 2
empty count : 3
empty count : 4
empty count : 5
empty count : 6

canalHA版环境搭建

1、机器准备：
mysql:192.168.43.110:3306

canal server：192.168.43.110:11111 、192.168.43.111:11111

zookeeper:192.168.43.110:2181、192.168.43.111:2181、192.168.43.112:2181

2、按照部署和配置，在单台机器上各自完成配置，演示时instance name为example
① 修改主机：192.168.43.110 的canal.properties，加上zookeeper配置，spring配置选择default-instance.xml

canal.zkServers =192.168.43.110:2181
canal.instance.global.spring.xml = classpath:spring/default-instance.xml

② example目录，并修改instance.properties

canal.instance.mysql.slaveId=1234  ##另外一台机器改成1235，保证slaveId不重复即可
canal.instance.master.address=192.168.43.110:3306

注意： 两台机器上的instance目录的名字需要保证完全一致，HA模式是依赖于instance name进行管理，同时必须都选择default-instance.xml配置

3、启动两台机器的canal
启动后，你可以查看logs/example/example.log，只会看到一台机器上出现了启动成功的日志。
查看一下zookeeper中的节点信息，也可以知道当前工作的节点为192.168.43.110:11111

[zk: 192.168.43.110:2181(CONNECTED) 13] get /otter/canal/destinations/example/running  
{"active":true,"address":"192.168.43.110:11111"}
cZxid = 0x900000011
ctime = Wed Jun 24 01:22:33 CST 2020
mZxid = 0x900000011
mtime = Wed Jun 24 01:22:33 CST 2020
pZxid = 0x900000011
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x10006b8a4ff0000
dataLength = 48
numChildren = 0

4、客户端链接, 消费数据
可以直接指定zookeeper地址和instance name，canal client会自动从zookeeper中的running节点，获取当前服务的工作节点，然后与其建立链接

// 创建链接
CanalConnector connector =
CanalConnectors.newClusterConnector("192.168.43.110:2181,192.168.43.111:2181", "example", "", "");    

链接成功后，canal server会记录当前正在工作的canal client信息，比如客户端ip，链接的端口信息等 
[zk: 192.168.43.110:2181(CONNECTED) 16] get /otter/canal/destinations/example/1001/running
{"active":true,"address":"192.168.43.95:56148","clientId":1001}
cZxid = 0x900000045
ctime = Wed Jun 24 02:48:17 CST 2020
mZxid = 0x900000046
mtime = Wed Jun 24 02:48:17 CST 2020
pZxid = 0x900000045
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x20006b87dc80000
dataLength = 63
numChildren = 0

数据消费成功后，canal server会在zookeeper中记录下当前最后一次消费成功的binlog位点. (下次你重启client时，会从这最后一个位点继续进行消费)

[zk: 192.168.43.110:2181(CONNECTED) 17] get /otter/canal/destinations/example/1001/cursor
{"@type":"com.alibaba.otter.canal.protocol.position.LogPosition","identity":{"slaveId":-1,"sourceAddress":{"address":"master","port":3306}},"postion":{"gtid":"","included":false,"journalName":"binlog.000004","position":2558,"serverId":1,"timestamp":1592926713000}}
cZxid = 0x900000023
ctime = Wed Jun 24 02:33:48 CST 2020
mZxid = 0x90000003a
mtime = Wed Jun 24 02:45:53 CST 2020
pZxid = 0x900000023
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 264
numChildren = 0

5、停止正在工作的192.168.43.110的canal server

这时192.168.43.111会立马启动example instance，提供新的数据服务

[zk: 192.168.43.110:2181(CONNECTED) 18]  get /otter/canal/destinations/example/running
{"active":true,"address":"192.168.43.111:11111"}
cZxid = 0x900000030
ctime = Wed Jun 24 02:45:35 CST 2020
mZxid = 0x900000030
mtime = Wed Jun 24 02:45:35 CST 2020
pZxid = 0x900000030
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x10006b8a4ff0002
dataLength = 48
numChildren = 0

与此同时，客户端也会随着canal server的切换，通过获取zookeeper中的最新地址，与新的canal server建立链接，继续消费数据，整个过程自动完成

xlee2012
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
canal-python:alibaba canal 客户端（Python3 版本）
05-02
canal-python 一.canal-python 简介 ...关于应用场景在Canal介绍一节已有概述。举一些实际的使用例子： 1.代替使用轮询数据库方式来监控数据库变更，有效改善轮询耗费数据库资源。 2.根据数据库的变更实时更
canal 第8篇
Cynhard_Cheung的博客
07-13 733
canal 第8篇
Canal——源码编译和单机版本地启动
oShenQiaQia的博客
11-27 1210
Canal源码分析——单机本地启动
canal HA安装配置（Linux）
qq_55906442的博客
04-19 2613
介绍： Canal 是用 java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。 目前，Canal 主要支持了 MySQL 的 Binlog 解析，解析完成后才利用 Canal Client 来处理 获得的相关数据。（数据库同步需要阿里的 Otter 中间件，基于 Canal）。 常见场景： 常见场景1：更新缓存 常见场景2：抓取业务数据新增变化表，用于制作拉链表。 常见场景3：抓取业务表的新增变化数据，用于制作实时统计 一、安装准备 ...
canal 使用详解
zhouzhiwengang的专栏
02-09 6089
译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费工作原理canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送 dump 协议MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )canal 解析 binary log 对象(原始为 byte 流)EntryHeaderlogfileName [binlog文件名]
【Canal】从原理、配置出发，从0到1完成Canal搭建
阿Q的小窝
07-03 8819
前几天在网上冲浪的时候发现了一个比较成熟的开源中间件——Canal。在了解了它的工作原理和使用场景后，顿时产生了浓厚的兴趣。今天，就让我们跟随阿Q的脚步，一起来揭开它神秘的面纱吧。
canal-server-web:canal服务端的web版本，支持使用web容器启动
05-10
canal-server-webcanal服务端的web版本，支持使用web容器启动
Canal环境搭建以及多数据库配置.md
04-29
Canal环境配置信息文档，主要是描述Canal怎么配置，和监听多数据库的时候该怎么配置。资料自己整理的
canal监听器 windos版本
05-23
canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。
canal1.1.5版本，包含服务端、客户端、源码
06-11
参数配置支持env环境变量 #3450 多语言客户端，新增Rust canal Rust客户端：[https://github.com/laohanlinux/canal-rs] 新增Adapter的自持，比如es7 新增更灵活的消息过滤能力，可以指定是否过滤Insert/Update/...
java定时实现cancel
最有趣的编程
10-05 2238
1.新建一个java类，里面新建两个java类，整体的框架如图所示： 2.MyTimer.java代码： import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Timer; public class MyTimer { public static void main(S
基于cancel的数据库恢复
cpgl40148的博客
11-07 3586
基于cancel的恢复，该种方式恢复数据库，只能恢复到删除日志文件与数据文件之前已归档日志时的状态。 ---全库备份： [oracle@enmo ~]$ rman target / ...
k8s 部署canal admin及server单机服务
manwufeilong的博客
01-04 1741
主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。部署清单部署步骤 a. 初始化数据库及创建用户 b. 编写 K8s yaml文件 mysql执行以下sql脚本，创建库 'canal_manager' 用来存放canal-admin的数据，server、instance配置等数据 2.2 canal-admin k8s yaml部署文件 创建部署 deployment.yaml，资源清单包含：service，deployment，configmap，ingress。使用官方c
单节点canal的介绍和搭建（对接mysql和rocketMQ）
qq_40439628的博客
12-03 1895
canal介绍和搭建（基于mysql和rocketMQ）
canal 环境搭建（docker）
weixin_43931625的博客
06-23 1797
canal 环境搭建（docker） 官网：https://github.com/alibaba/canal/wiki/Docker-QuickStart docker 仓库：https://hub.docker.com/r/canal/canal-server/tags 配置文件：https://github.com/alibaba/canal/wiki/AdminGuide ********************* 架构设计 单机：canal server、
canal环境搭建及出现问题解决
qq_45003354的博客
11-14 1867
canal环境搭建、搭建问题解决
canal单机搭建HA
荣耀之路
06-30 420
待写
搭建并运行基于HA模式的canal
热门推荐
心之所向,无惧无悔!
07-22 1万+
j
Windows环境搭建canal服务教程
Brave_heart4pzj的博客
03-24 3802
canal java.net.ConnectException: Connection refused: connect
最新发布
03-05
`java.net.ConnectException: Connection refused: connect` 是Java中的一个异常，表示连接被拒绝。这个异常通常在网络编程中出现，当尝试建立一个连接时，目标主机拒绝了连接请求。 可能的原因包括： ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值