Canal 及canal.admin(v1.1.5)踩坑记录

已于 2023-06-30 19:03:33 修改
阅读量4.3k 收藏 24
点赞数 13
分类专栏： 中间件 Linux 文章标签： mysql 数据库 java
于 2021-11-16 14:18:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42763067/article/details/121354690
版权

网址：GitHub - alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件

前期软件准备

  • 上面的软件包(canal.deployer-1.1.5.tar.gz , canal.admin-1.1.5.tar.gz)

  • zookeep

  • mysql及开启binlog日志

    [mysqld]
lower_case_table_names=1
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

一、数据库操作

  1. 在MySQL中需要创建一个用户，并授权

    create user 'canal'@'%' identified by 'Canal123456#';
-- 授权 *.*表示所有库
grant SELECT, REPLICATION SLAVE, REPLICATION CLIENT on *.* to 'canal'@'%' identified by 'Canal123456#';

  2. 开启binlog日志

    [mysqld]
# 打开binlog
log-bin=mysql-bin
# 选择ROW(行)模式
binlog-format=ROW
# 配置MySQL replaction需要定义，不要和canal的slaveId重复
server_id=1

  3. 重启mysql服务，验证

    show binary logs;

     show master status; 

二、安装canal-admin

  1. 解压安装admin软件包

    tar -zxvf canal.admin-1.1.5.tar.gz -C /soft/canal.admin-1.1.5

  2. 修改配置文件 config/application.yml

    server:
  port: 8089
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
​
spring.datasource:
  address: 127.0.0.1      # canal.admin 数据库  修改成自己的
  database: canal_manager
  username: canal          # 修改成自己的
  password: canal          # 修改成自己的
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1
​
canal:
  adminUser: admin    # canal.admin用户名
  adminPasswd: 123456  # canal.admin密码
​

  3. 运行初始化文件 conf/canal_manager.sql

    mysql> source /soft/canal.admin-1.1.5/conf/canal_manager.sql

  4. 启动canal.admin

    cd /soft/canal.admin-1.1.5/bin

    ./startup.sh

  5. 打开网站 http://192.168.100.125:8089/，用户名：admin 密码：123456

三、安装canal

1.解压安装

tar -zxvf   canal.deployer-1.1.5.tar.gz  -C /soft/canal.deployer-1.1.5

# 备份配置文件
mv canal.properties canal.properties.bak
cp canal_local.properties  canal.properties

2.修改配置文件 canal.properties

# register ip
canal.register.ip = 192.168.100.125

# canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster = canal_cluster
canal.admin.register.name = Canal-android-1

3.刷新浏览器可以看到了

 4.编辑主配置文件

#################################################
######### 		common argument		#############
#################################################
# tcp bind ip
canal.ip =
# register ip to zookeeper
canal.register.ip =
canal.port = 11111
canal.metrics.pull.port = 11112
# canal instance user/passwd
# canal.user = canal
# canal.passwd = E3619321C1A937C46A0D8BD1DAC39F93B27D4458

# canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register
#canal.admin.register.auto = true
#canal.admin.register.cluster =
#canal.admin.register.name =

canal.zkServers = 192.168.100.125:2181
# flush data to zk
canal.zookeeper.flush.period = 1000
canal.withoutNetty = false
# tcp, kafka, rocketMQ, rabbitMQ
canal.serverMode = tcp
# flush meta cursor/parse position to file
canal.file.data.dir = ${canal.conf.dir}
canal.file.flush.period = 1000
## memory store RingBuffer size, should be Math.pow(2,n)
canal.instance.memory.buffer.size = 16384
## memory store RingBuffer used memory unit size , default 1kb
canal.instance.memory.buffer.memunit = 1024 
## meory store gets mode used MEMSIZE or ITEMSIZE
canal.instance.memory.batch.mode = MEMSIZE
canal.instance.memory.rawEntry = true

## detecing config
canal.instance.detecting.enable = false
#canal.instance.detecting.sql = insert into retl.xdual values(1,now()) on duplicate key update x=now()
canal.instance.detecting.sql = select 1
canal.instance.detecting.interval.time = 3
canal.instance.detecting.retry.threshold = 3
canal.instance.detecting.heartbeatHaEnable = false

# support maximum transaction size, more than the size of the transaction will be cut into multiple transactions delivery
canal.instance.transaction.size =  1024
# mysql fallback connected to new master should fallback times
canal.instance.fallbackIntervalInSeconds = 60

# network config
canal.instance.network.receiveBufferSize = 16384
canal.instance.network.sendBufferSize = 16384
canal.instance.network.soTimeout = 30

# binlog filter config
canal.instance.filter.druid.ddl = true
canal.instance.filter.query.dcl = false
canal.instance.filter.query.dml = false
canal.instance.filter.query.ddl = false
canal.instance.filter.table.error = false
canal.instance.filter.rows = false
canal.instance.filter.transaction.entry = false
canal.instance.filter.dml.insert = false
canal.instance.filter.dml.update = false
canal.instance.filter.dml.delete = false

# binlog format/image check
canal.instance.binlog.format = ROW,STATEMENT,MIXED 
canal.instance.binlog.image = FULL,MINIMAL,NOBLOB

# binlog ddl isolation
canal.instance.get.ddl.isolation = false

# parallel parser config
canal.instance.parser.parallel = true
## concurrent thread number, default 60% available processors, suggest not to exceed Runtime.getRuntime().availableProcessors()
#canal.instance.parser.parallelThreadSize = 16
## disruptor ringbuffer size, must be power of 2
canal.instance.parser.parallelBufferSize = 256

# table meta tsdb info
canal.instance.tsdb.enable = true
canal.instance.tsdb.dir = ${canal.file.data.dir:../conf}/${canal.instance.destination:}
canal.instance.tsdb.url = jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;
canal.instance.tsdb.dbUsername = canal
canal.instance.tsdb.dbPassword = canal
# dump snapshot interval, default 24 hour
canal.instance.tsdb.snapshot.interval = 24
# purge snapshot expire , default 360 hour(15 days)
canal.instance.tsdb.snapshot.expire = 360

#################################################
######### 		destinations		#############
#################################################
canal.destinations = tb_user
# conf root dir
canal.conf.dir = ../conf
# auto scan instance dir add/remove and start/stop instance
canal.auto.scan = true
canal.auto.scan.interval = 5
# set this value to 'true' means that when binlog pos not found, skip to latest.
# WARN: pls keep 'false' in production env, or if you know what you want.
canal.auto.reset.latest.pos.mode = false

canal.instance.tsdb.spring.xml = classpath:spring/tsdb/h2-tsdb.xml
#canal.instance.tsdb.spring.xml = classpath:spring/tsdb/mysql-tsdb.xml

# canal.instance.global.mode = manager
canal.instance.global.mode = spring
canal.instance.global.lazy = false
canal.instance.global.manager.address = ${canal.admin.manager}
#canal.instance.global.spring.xml = classpath:spring/memory-instance.xml
#canal.instance.global.spring.xml = classpath:spring/file-instance.xml
canal.instance.global.spring.xml = classpath:spring/default-instance.xml

##################################################
######### 	      MQ Properties      #############
##################################################
# aliyun ak/sk , support rds/mq
canal.aliyun.accessKey =
canal.aliyun.secretKey =
canal.aliyun.uid=

canal.mq.flatMessage = true
canal.mq.canalBatchSize = 50
canal.mq.canalGetTimeout = 100
# Set this value to "cloud", if you want open message trace feature in aliyun.
canal.mq.accessChannel = local

canal.mq.database.hash = true
canal.mq.send.thread.size = 30
canal.mq.build.thread.size = 8

5.新建instance，使用默认模板

#################################################
## mysql serverId , v1.0.26+ will autoGen
# canal.instance.mysql.slaveId=0

# enable gtid use true/false
canal.instance.gtidon=false

# position info
canal.instance.master.address=39.xxx.xx.233:3306      # 改成自己的
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=

# username/password
canal.instance.dbUsername=canal_client                  # 改成自己的
canal.instance.dbPassword=Canal_client123#              # 改成自己的
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlh
rWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex
canal.instance.filter.regex=db_data.tb_user             # 改成自己的
# table black regex
canal.instance.filter.black.regex=
# table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch
# table field black filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contac
t/ch

# mq config
canal.mq.topic=
# dynamic topic route by schema or table regex
#canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*
canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*
#################################################

6.修改主配置文件

四、客户端验证

clien.py

import time

from canal.client import Client
from canal.protocol import EntryProtocol_pb2
from canal.protocol import CanalProtocol_pb2

client = Client()
client.connect(host='192.168.100.125', port=11111)   # 修改成自己的
client.check_valid(username=b'', password=b'')
client.subscribe(client_id=b'1001', destination=b'tb_user', filter=b'.*\\..*')

while True:
    message = client.get(100)
    entries = message['entries']
    for entry in entries:
        entry_type = entry.entryType
        if entry_type in [EntryProtocol_pb2.EntryType.TRANSACTIONBEGIN, EntryProtocol_pb2.EntryType.TRANSACTIONEND]:
            continue
        row_change = EntryProtocol_pb2.RowChange()
        row_change.MergeFromString(entry.storeValue)
        event_type = row_change.eventType
        header = entry.header
        database = header.schemaName
        table = header.tableName
        event_type = header.eventType
        for row in row_change.rowDatas:
            format_data = dict()
            if event_type == EntryProtocol_pb2.EventType.DELETE:
                for column in row.beforeColumns:
                    format_data = {
                        column.name: column.value
                    }
            elif event_type == EntryProtocol_pb2.EventType.INSERT:
                for column in row.afterColumns:
                    format_data = {
                        column.name: column.value
                    }
            else:
                format_data['before'] = format_data['after'] = dict()
                for column in row.beforeColumns:
                    format_data['before'][column.name] = column.value
                for column in row.afterColumns:
                    format_data['after'][column.name] = column.value
            data = dict(
                db=database,
                table=table,
                event_type=event_type,
                data=format_data,
            )
            print(data)
    time.sleep(1)

client.disconnect()

Canal启动报错踩坑记录

服务启动报错，数据无法同步

java.io.IOException: Received error packet: errno = 1236, sqlstate = HY000 errmsg = Could not find first log file name in binary log index file

解决方案：

单机：先把服务停止，然后删除canal/conf/下对应实例的meta.dat文件；重启canal即可恢复 zk集群模式：进入canal对应的zookeeper集群下，删除节点/otter/canal/destinations/xxxxx/1001/cursor ；重启canal即可恢复

注：1.1.6版本的canal自己编译二进制包，官网包有bug

想见感
关注
  • 13
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
Canal1.1.5最新版安装部署及详细配置
mnasd的博客
05-12 1486
版本根据情况自行调整，最新版本参考：https://github.com/alibaba/canal/releases canal角色 canal-admin：canal控制台，可以统一管理canal服务 canal-deployer：也是canal-server：canal的一个节点服务 canal-instance： canal-server中的一个处理实例，可以处理不同的业务逻辑。 安装canal-admin #进入安装包 cd /opt/canal #下载admin安装包 wget h.
【Canal】从原理、配置出发，从0到1完成Canal搭建
阿Q的小窝
07-03 9891
前几天在网上冲浪的时候发现了一个比较成熟的开源中间件——Canal。在了解了它的工作原理和使用场景后，顿时产生了浓厚的兴趣。今天，就让我们跟随阿Q的脚步，一起来揭开它神秘的面纱吧。
【CanalAdmin部署文档】
最新发布
子凡的专栏
05-30 1296
Releases · alibaba/canal · GitHub mkdir canalAdmintar zxvf canal.admin-1.1.6.tar.gz -C canalAdmin vim canalAdmin/conf/application.yml 配置数据库信息，address、username、password填实际使用数据库信息，database固定为canal_managermysql -h 172.16.1.186 -uroot -p123456 < canal_manager.
canal-admin
08-31
canal-admin-1.1.4.............................................
Canal、Canaladmin、Canaladapter多instance数据库表双向同步，TCP/Zookeeper、Rocketmq配置
殷长庆的博客
07-02 2677
目录背景配置下载MySQL配置单机模式配置Canaladmin配置Instance配置Canal配置Canaladapter配置集群模式(ZK)Canaladmin配置Canal配置使用RocketMQCanaladmin配置 Instance配置Canaladapter配置两个MySQL数据库实例中，实现order表双向同步增删改操作准备一台Linux，用来安装canal环境，需要提前安装JDK和MySQL，安装JDK是为了启动canal这三个项目，这个是必要的安装MySQL是因为admin用到了cana
canal-admin 搭建
u012870743的博客
07-08 1275
下载的是1.1.4的包，mysql版本是8.0 解压canal.admin-1.1.4.tar.gz. 替换lib目录下的数据库jar包为mysql-connector-java-8.0.12.jar conf里的application.yml 配置文件 修改：driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.databas.
Canal：部署Canal与Canal Admin
kaven
12-14 5623
简介 canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。 工作原理 canal模拟MySQL slave的交互协议，将自己伪装为MySQL slave，向MySQL master发送dump协议。 MySQL master收到dump请求，开始推送binary log给slave（即canal ）。 canal解析binary log对象（原始为byte流）。 因此可以用Canal来提供MySQL数据库增量数据的订阅和消费，当My
canal admin可视化管理
weixin_43931625的博客
07-25 754
canal admin可视化管理
canal.admin-1.1.5-SNAPSHOT.tar.gz
01-04
《Canal Admin 1.1.5：数据库同步与管理利器》 Canal Admin，作为阿里巴巴开源项目Canal的重要组成部分，是针对Canal实例管理和监控的Web管理平台，旨在简化数据库变更数据捕获（CDC）过程中的配置和管理工作。...
canal-1.1.5 全套
03-27
包含canal全套资源包含以下 canal.adapter-1.1.5.tar.gz canal.admin-1.1.5.tar.gz canal.deployer-1.1.5.tar.gz canal.example-1.1.5.tar.gz
canal.1.1.5包
05-08
2. canal.admin-1.1.5.tar：这是Canal管理员组件的1.1.5版本，提供了一个Web管理界面，用于方便地管理和监控Canal实例，包括创建、删除、配置Canal Server以及查看日志等操作。 3. canal.example-1.1.5.tar：这是一...
canal 1.1.4 安装包合集，包括deployer admin adapter
04-09
国内下载GitHub上的安装包会失败或很慢。这里直接把安装包提供给大家，包括deployer,admin和adapter。
canal v1.1.5
02-24
canal.adapter-1.1.5.tar.gz canal.admin-1.1.5.tar.gz canal.deployer-1.1.5.tar.gz canal.example-1.1.5.tar.gz
canal-admin的部署与使用，及相关监控
未知的希望，是我不灭的信仰
05-28 8957
canal-admin的相关
mysql进阶：通过canal-admin来管理canal集群
55555的博客
10-07 1662
canal-admin的设计初衷就是为了canal提供整体的配置管理、节点运维等功能。针对多节点的情况，不需要相同的配置每个节点都要操作一遍。为运维人员节约时间。集群：也就是一组canal服务端deployer，也称为Server，同一集群的Server的配置文件可以在admin中统一集中管理。也就是说admin是面向多集群的管理。
数据库系列——使用Canal Admin实现MySQL增量数据同步运维管理(1)
2401_83946826的博客
04-16 553
本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论。Canal Admin是为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作。最全的Linux教程，Linux从入门到精通。
阿里 canal-admin 服务部署
laow的博客
05-23 366
下载canal canal.admin-1.1.5 下载 canal.adapter-1.1.5 下载 canal.deployer-1.1.5 下载 环境搭建(java环境略) 注意:推荐java8, java11需要修改启动脚本ops参数 canal-admin 搭建 #创建canal-admin文件夹 mkdir canal-admin #将canal.admin-1.1.5.tar.gz 解压到 canal-admin 目录下 tar -zxvf canal.admin-1.1.5.tar.gz
canal应用之admin、adapter、deployer、springboot
Mr____zhao的博客
05-10 418
springboot集成canal，实现监听数据库增删改变化。
安装canal-admin管理界面
weixin_43564627的博客
04-01 355
安装canal-admin管理界面 请参考官网：https://github.com/alibaba/canal/wiki/Canal-Admin-QuickStart
canal.admin-1.1.5.tar.gz下载
04-28
canal.admin-1.1.5.tar.gz是一个开源的工具软件包，用于管理Canal组件的运行。使用该软件包，管理者可以轻松地监控Canal的运行情况，包括查看Canal的工作状态，管理Canal的配置、日志等信息，并进行必要的操作和配置...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

想见感

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值