Canal安装部署

最新推荐文章于 2024-07-04 01:20:48 发布
最新推荐文章于 2024-07-04 01:20:48 发布
阅读量698 收藏 2
点赞数
分类专栏： canal 文章标签： java mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bingfengshike/article/details/112224137
版权

一、canal介绍

    canal 是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

    工作原理：

  • canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
  • MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
  • canal 解析 binary log 对象(原始为 byte 流)

   官网地址：https://github.com/alibaba/canal




二、服务器准备

       192.168.158.211

       192.168.158.212 

三、软件准备：

  1、Mysql要求

       当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

       建议配置 binlog 模式为 row

        vim  /etc/my.cnf

[mysql]
binlog-format=ROW #选择 row 模式    

Canal 的原理是把自己模拟成 MySQL Slave，所以这里一定需要为 canal 使用的用户在数据库赋相关权限

CREATE USER canal IDENTIFIED BY 'canal'; 

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; 

FLUSH PRIVILEGES;

show grants for 'canal';  ###查看权限

三、软件准备：

  2、下载解压软件包

      资源包地址：https://github.com/alibaba/canal/releases 

      以1.1.4为例：https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gz  （server：监听binlog）

                            https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.admin-1.1.4.tar.gz      （admin：server配置中心）

                            https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.adapter-1.1.4.tar.gz    （client：监听server，可以代码实现）

       下载ZK：     https://archive.apache.org/dist/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz （zk：HA注册中心）

       安全起见建议canal在非root用户下安装运行

useradd canal

passwd canal    
                             
mkdir /usr/local/canal               ### 创建canal安装目录
 
chown -R canal:canal /usr/local/canal   ### 目录授权

四.单节点模式

 1、服务器

角色机器
Canal Server   (canal.deployer)192.168.158.211
MySQL192.168.158.211

 2、部署&配置

mkdir /usr/local/canal/deployer

tar -zxvf canal.deployer-1.1.4.tar.gz -C /usr/local/canal/deployer

cd /usr/local/canal/deployer
 

  编辑 conf/example/instance.properties ，修改如下 3 个属性值：

 canal.instance.master.address=192.168.158.211:3306
 canal.instance.dbUsername=canal
 canal.instance.dbPassword=canal

 PS: example 仅是为 instance 起的一个别名，该名称可自定义；当需要定义多个 instance 时，可参考 conf/example 文件夹的范式，在相同的目录下复制多个与 conf/example 仅名称不同的文件夹，并修改文件夹里的内容。再把 instance 名称（即刚创建的文件夹名）追加到 conf/canal.properties 文件的 canal.destinations 属性值中，多个值之间以英文半角的逗号分隔               

   启动

sh bin/startup.sh

tail -f logs/example/example.log

tail -f logs/canal/canal.log

五.高可用模式

  1、服务器

角色机器
ZooKeeper192.168.158.211  （ZK最好是集群，此处略）
Canal Admin    (canal.admin)192.168.158.211
Canal Server   (canal.deployer)192.168.158.211、192.168.158.212
MySQL192.168.158.211

 2、部署&配置

 2.1 zk安装 

tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz

mv apache-zookeeper-3.6.1-bin /usr/local/zookeeper

cd /usr/local/zookeeper

cp conf/zoo_sample.cfg conf/zoo.cfg

sh bin/zkServer.sh start

2.2 admin部署

mkdir /usr/local/canal/admin

tar -zxvf canal.admin-1.1.4.tar.gz -C /usr/local/canal/admin

cd /usr/local/canal/admin
 

  编辑 conf/application.yml，修改数据库配置：

 (ps:如果此处用户名密码为canal/canal则必须为canal授权INSERT权限，否则后台页面添加集群时会报错）

server:
  port: 8089
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8

spring.datasource:
  address: 127.0.0.1:3306
  database: canal_manager
  username: root
  password: 123456
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1

canal:
  adminUser: admin
  adminPasswd: admin

  初始化数据

mysql -h127.0.0.1 -uroot -p

> source conf/canal_manager.sql

   启动

sh bin/startup.sh

tail -f logs/admin.log

   访问 ： http://192.168.158.211:8089    admin/123456

 2.3 deployer部署

mkdir /usr/local/canal/deployer

tar -zxvf canal.deployer-1.1.4.tar.gz -C /usr/local/canal/deployer

cd /usr/local/canal/deployer
 

   编辑 conf/canal_local.properties ，修改canal.admin.manager属性值，为admin的地址：192.168.158.211:8089

# register ip
canal.register.ip =

# canal admin config
canal.admin.manager = 192.168.158.211:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster =

  启动

sh bin/startup.sh local

tail -f logs/canal/canal.log

 PS: 此处启动命令后加 local，意为使用使用canal-admin的配置

   登录admin，查看自动注册的server

  

2.4 admin配置管理

   1）新建集群（注意zk地址）

   

  2）集群主配置

  

   主要如下 3 个属性值：

   canal.admin.manager = 192.168.158.211:8089

   canal.zkServers = 192.168.158.211:2181

   canal.instance.global.spring.xml = classpath:spring/default-instance.xml （支持HA方式）

   ps:有时需要固定ip则需要设置canal.register.ip

 3）修改 conf/canal_local.properties 配置

canal.admin.register.cluster = wallet_cluster

 PS:  此处配置完canal.admin.register.cluster,以后新建的server会自动注册到该cluster名下.

         重启admin，配置生效

 4）instance配置

  

   主要如下 3 个属性值：

   canal.instance.master.address=127.0.0.1:3306

   canal.instance.dbUsername=canal

   canal.instance.dbPassword=canal

   canal.instance.filter.regex=.*\\..*  

 PS:  regex是对库和表的过滤，此正则为perl的正则

PS.其他

   1 两个server组成HA,创建一个instance，该instance只会挂在到一个server上，当关停该server，instance会自动切换到另一个server上

以上！！！

bingfengshike
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Canal中间件安装部署
火烧云的博客
03-03 874
通用操作 一、配置mysql数据库，登录mysql数据库 ①、添加用户: create user 'canal'@'%' identified by 'Canal@123456'; ②、给用户授权: grant SELECT, REPLICATION SLAVE, REPLICATION CLIENT on *.* to 'canal'@'%' identifi...
Centos7上Canal的部署和安装-新手小白教程
s_dangni的博客
06-17 1727
此系列所有环境配置见目录：基于Canal进行项目实践的一系列软件安装部署菜鸟教程. Centos7安装mysql5.7 步骤如下 ： 1、 下载https://github.com/alibaba/canal/releases 的文件，通过Xftp传至虚拟机文件夹lele中（下面有文件目录，需自己创建）我把压缩包放在了/home/hadoop/test/lele/canal中。 进入安装目录： cd /home/hadoop/test/lele 创建canal存放目录： mkdir canal 进
canalCanal的安装和部署,与实践.docx
04-20
Canal的安装和部署,与实践
canal安装部署
旋转星球的博客
02-28 1008
部署版本：v1.1.7。
使用 Docker 部署 canal 服务，实现 MySQL 数据库 binlog 日志解析
最新发布
2401_85112749的博客
07-04 752
针对最近很多人都在面试，我这边也整理了相当多的面试专题资料，也有其他大厂的面经。希望可以帮助到大家。下面的面试题答案都整理成文档笔记。也还整理了一些面试资料&最新2021收集的一些大厂的面试真题（都整理成文档，小部分截图）最新整理电子书加上之后，报错信息的确都没有了，但消费出来的数据没有 ROWDATA，这个地方确实困扰了我很长时间。说实话，有的时候调试程序，并不怕碰到报错，怕的是没有报错，然后程序还不正常。针对最近很多人都在面试，我这边也整理了相当多的面试专题资料，也有其他大厂的面经。
（三十三）大数据实战——Canal安装部署及其应用案例实战
厉害哥哥的博客
09-17 845
Canal 是一个开源的MySQL数据库binlog监听和解析框架，用于实时捕获 MySQL数据库的binlog 变更事件，并将其解析成易于消费的数据格式。Canal 可以实时监听 MySQL 数据库的 binlog，并即时捕获数据库的数据变更事件。Canal可以将捕获到的binlog事件解析成易于消费的数据格式，如 SON格式，方便后续处理与消费。Canal 通过增量订阅和解析 binlog 的方式，避免了全量数据的传输和处理，提供了较高的性能和吞吐量。Canal 支持灵活的配置，可以根据需求过滤和选择需
项目部署之安装和配置Canal
时代各有不同，青春一脉相承。
11-07 547
Canal是阿里巴巴的一个开源项目，基于java实现，整体已经在很多大型的互联网项目生产环境中使用，包括阿里、美团等都有广泛的应用，是一个非常成熟的数据库同步方案，基础的使用只需要进行简单的配置即可。Canal是通过模拟成为mysql的slave的方式，监听mysql的binlog日志来获取数据，binlog设置为row 模式以后，不仅能获取到执行的每一个增删改的脚本，同时还能获取到修改前和修改后的数据，基于这个特性，Canal就能高性能的获取到mysql数据数据的变更。Canal是基于MySQL的主从同步
centos7 部署 canal
BBinChina的专栏
09-22 434
Canal部署 1、下载canal压缩包 https://github.com/alibaba/canal/releases a) b)将压缩把放置虚机环境 /opt 2、进入安装目录 a)cd /opt 3、解压 canal a)mkdir canal b)cd canal c)tar -zxvf …/canal.deployer-1.1.4.tar.gz 4、编辑配置 a)vim conf/example/instance.properties b)添加内容： canal.instance.dbUser
canal集群部署及使用
zenglingmin8的博客
07-20 2242
本文主要讲解canal集群部署及使用
Canal部署安装
anguoan的博客
11-14 903
Canal部署安装
canal五部曲-安装部署
qq276726581的博客
02-07 1228
canal安装部署
Canal的安装与使用
与优秀的人在一起，会使自己变得更优秀
05-28 2532
一、Canal介绍 　　Canal的原理就是它自己伪装成slave， 向mysql发送dump协议，MySQL master接收到dump请求之后推送binlog文件给slave， 也就是canal。　　   二、Canal安装 　　1. 下载Canal  　　　wget https://github.com/alibaba/canal/releases/download/canal-1...
Canal部署
huanfengwu的专栏
01-11 352
Canal部署 1. 部署canal-server 下载canal-server ：https://github.com/alibaba/canal/releases 这里我选择最新版的1.1.5 alpha版本，据说这个版本支持es7.x ,文件名：canal.deployer-1.1.5-SNAPSHOT.tar.gz 上传到服务器上并解压至 /opt/apps/canal/server 文件夹下 参照教程配置serverhttps://github.com/alibaba/canal/wi.
Canal的安装与部署
热门推荐
Ernest
06-02 7万+
一、环境要求 1.1 操作系统 Canal 是由 Java 开发，Windows/Linux 均可支持。 不同的 Canal 版本所需的 JDK 版本亦不同，下表展示了它们之间关系。 Canal JDK 1.1.4 1.8 1.1.0 ~ 1.1.3 1.7 1.0.19 ~ 1.0.25 1.6 1.2 MySQL 要求 目前 Canal 已支持 MySQL 5.7.13/5.6.10 及以下的版本，MariaDB 5.5.35 和 10.0.7（理论上可支持以下版本
canal部署
m0_37874848的博客
01-07 312
1.简介 canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。 2.工作原理 canal的工作原理就是把自己伪装成MySQL slave，模拟MySQL slave的交互协议向MySQL Mater发送 dump协议，MySQL mater收到canal发送过来的dump请求，开始推送binary log给canal，然后canal解析binlog，再发送到存储目的地，比如MySQL，Kafka，E
canal安装
fangye1的博客
10-01 231
参考文档 阿里Canal部署安装小白教程 canal原理的一些学习-1（canal的一些原理性介绍） 修改mysql配置 对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，修改mysql的my.cnf文件 找到 mysql的my.cnf文件： mysql –help | grep my.cnf 修改 /etc/my.cnf 文件 ： vim /etc/my.cnf 添加一下配置： log-bin=mysql-bin # 开启 binl
数据同步工具:Canal安装
10-28 1232
大家好,欢迎来到本篇博客,博主是一名刚入大数据行业的小白,利用空闲的时间来分享自己所学的知识,帮助和博主一样刚处于起步阶段的同学,水平不高,若有什么错误和纰漏之处恳请大佬不吝赐教,目前个人博客只有CSDN:https://zhenyu.blog.csdn.net/,感谢大家的支持,谢谢 送给大家一句话:今日事,今日毕 本篇博客主要讲解:数据同步工具:Canal安装 目标: 安装Canal Canal重要版本更新说明环境要求小结 重要版本更新说明 ------1.Canal 1.1.x 版本（.
canal部署和配置
FourZeroZero's home
04-17 4901
参考地址 https://github.com/alibaba/canal/wiki/AdminGuide 概念 canal-admin：控制台，可配置server和instance。 canal-server：代表一个canal运行实例，对应于一个jvm；内部包含多个instance，每个instance都会伪装成一个mysql实例的slave instance：对应于一个数据队列 架构 instance模块： eventParser (数据源接入，模拟slave协议和master进行交互，协议解析)
docker 部署canal
06-11
以下是在Docker中部署Canal的步骤： 1. 下载Canal的Docker镜像： ``` docker pull canal/canal-server:v1.1.4 ``` 2. 运行Canal容器： ``` docker run -d -p 11111:11111 -p 11112:11112 --name canal canal/canal-server:v1.1.4 ``` 该命令会在后台运行一个名为canal的容器，并将容器中的11111和11112端口映射到宿主机的11111和11112端口。 3. 进入Canal容器内部： ``` docker exec -it canal /bin/bash ``` 4. 修改Canal配置文件： ``` cd /canal-server/conf vi canal.properties ``` 在配置文件中修改Canal服务的IP和端口号等参数。 5. 重启Canal容器： ``` docker restart canal ``` 6. 测试Canal服务是否正常： ``` telnet localhost 11111 ``` 如果连接成功，并能够正常接收到Canal的心跳包，则说明Canal服务已经成功部署。 以上是在Docker中部署Canal的基本步骤，具体操作还需要根据自己的实际情况进行调整。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值