JAVA进阶之路-canal搭建

最新推荐文章于 2024-04-20 21:46:52 发布
最新推荐文章于 2024-04-20 21:46:52 发布
阅读量755 收藏
点赞数
分类专栏： canal 文章标签： linux mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39726310/article/details/108220529
版权

JAVA进阶之路-canal搭建

canal介绍

canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。简单来说就是用户监听数据库，只要数据库有增删改的操作canal都会监听到，届时我们就可以做我们对应的操作。

支持的业务

  1. 数据库镜像
  2. 数据库实时备份
  3. 多级索引 (卖家和买家各自分库索引)
  4. search build
  5. 业务cache刷新
  6. 价格变化等重要业务消息

运行原理

引用自网络
从上图可以看出一主从分库是如何做到数据同步的。而我们的canal基本与上面一致，基本就是将自己模拟成为一个从库，从而一直监听主库的数据变化然后写入外界（通过消息队列发送给外界、或者通过tcp连接canal获取增量数据）

搭建canal

简单的熟悉下canal后我们可以直接开始搭建canal，canal的搭建过程很简单,废话不多,说我们开始吧！

工具准备

  1. 数据库
  2. canal
  3. 一台linux服务器（本文暂时只介绍linux的安装方法）

数据库操作

canal监听最开始的前提就是读取binlog的数据来进行监控。一般数据库的binlog是默认关了的，所以需要我们打开来.
在my.cnf 加入如下：

     [mysqld]

     og-bin=mysql-bin #添加这一行就ok

     binlog-format=ROW #选择row模式

     server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复

ps:binlog模式总共有三种

  1. Statement ： 记录每一条修改数据的SQL语句（批量修改时，记录的不是单条SQL语句，而是批量修改的SQL语句事件）
  2. row：记录的方式是行，即如果批量修改数据，记录的不是批量修改的SQL语句事件，而是每条记录被更改的SQL语句，因此，ROW模式的binlog日志文件会变得很“重”。
  3. Mixed：实际上就是前两种模式的结合。在Mixed模式下，MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志形式，也就是在Statement和Row之间选择一种。

以上三个模式的解释来自于https://blog.51cto.com/13691477/2150178该blog的大佬，如果想继续深入了解可以直接看下他的原帖.
改完以后咱们可以进入数据库输入show variables like "%bin%;这条sql查看咱们的binlog是否开启
引用自网络
开启完binlog以后咱们需要给从库(canal)一个管理员账户:

    CREATE USER canal IDENTIFIED BY 'canal'; 
    
    GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';

    -- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;

    FLUSH PRIVILEGES;

进入数据库输入上面这些sql回车即刻。创建了一个canal 密码为canal的一个账户。到这里，数据库的操作就已经做完了，咱们就可以开始做canal的相关操作了。

canal操作

开始我们需要下载canal并解压下来。（我们这里使用的1.1.3的版本。如果想用其他版本你可以访问官网https://github.com/alibaba/canal/releases 下载自己需要的版本。）
进入canal官方的github下载地址为： https://github.com/alibaba/canal/releases/download/canal-1.1.3/canal.deployer-1.1.3.tar.gz
如果下载速度慢可以试试复制这个连接去迅雷下载 可能会比浏览器下载稍快些。
下载后我们需要解压

mkdir ./canal
tar -zxvf ./canal.deployer-1.1.3.tar.gz -C ./canal

因为压缩包里面压缩的不是一个整的文件夹 我们需要指定压缩到一个文件夹里面 要不然会很杂乱。
在这里插入图片描述
进入canal文件夹里面后会有这么几个文件
bin：执行文件
conf: 配置文件
lib：canal所使用的java包（因为canal本身就是java开发出来的,所以用到了一些jar包)
logs：canal产生的日志
接下来就直接该配置文件就行了。
修改 conf下面example的instance.properties文件

#################################################
## mysql serverId
canal.instance.mysql.slaveId=1
# position info
canal.instance.master.address=127.0.0.1:3306 #输入自己数据库的ip地址
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=


# table meta tsdb info
#canal.instance.tsdb.enable=false
#canal.instance.tsdb.dir=${canal.file.data.dir:../conf}/${canal.instance.destination:}
#canal.instance.tsdb.url=jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal


#canal.instance.standby.address =   
#canal.instance.standby.journal.name =	
#canal.instance.standby.position =	
#canal.instance.standby.timestamp =	
# username/password
canal.instance.dbUsername=canal	#这里就输入我们上面新增的数据库用户就可以了
canal.instance.dbPassword=canal
canal.instance.defaultDatabaseName=   #去除test
canal.instance.connectionCharset=UTF-8
# table regex
canal.instance.filter.regex=.*\\..*
# table black regex
canal.instance.filter.black.regex=
#################################################

修改上面文件就可以直接进入bin目录执行启动文件

root@lvvyi:~/canal/bin ./startup.sh
cd to /root/canal/bin for workaround relative path
LOG CONFIGURATION : /root/canal/bin/../conf/logback.xml
canal conf : /root/canal/bin/../conf/canal.properties
CLASSPATH :/root/canal/bin/../conf:/root/canal/bin/../lib/zookeeper-3.4.5.jar:/r                                                                                                                                                             oot/canal/bin/../lib/zkclient-0.10.jar:/root/canal/bin/../lib/spring-tx-3.2.18.R                                                                                                                                                             ELEASE.jar:/root/canal/bin/../lib/spring-orm-3.2.18.RELEASE.jar:/root/canal/bin/                                                                                                                                                             ../lib/spring-jdbc-3.2.18.RELEASE.jar:/root/canal/bin/../lib/spring-expression-3                                                                                                                                                             .2.18.RELEASE.jar:/root/canal/bin/../lib/spring-core-3.2.18.RELEASE.jar:/root/ca                                                                                                                                                             nal/bin/../lib/spring-context-3.2.18.RELEASE.jar:/root/canal/bin/../lib/spring-b                                                                                                                                                             eans-3.2.18.RELEASE.jar:/root/canal/bin/../lib/spring-aop-3.2.18.RELEASE.jar:/ro                                                                                                                                                             ot/canal/bin/../lib/snappy-java-1.1.7.1.jar:/root/canal/bin/../lib/slf4j-api-1.7                                                                                                                                                             .12.jar:/root/canal/bin/../lib/simpleclient_pushgateway-0.4.0.jar:/root/canal/bi                                                                                                                                                             n/../lib/simpleclient_httpserver-0.4.0.jar:/root/canal/bin/../lib/simpleclient_h                                                                                                                                                             otspot-0.4.0.jar:/root/canal/bin/../lib/simpleclient_common-0.4.0.jar:/root/cana                                                                                                                                                             l/bin/../lib/simpleclient-0.4.0.jar:/root/canal/bin/../lib/scala-reflect-2.11.12                                                                                                                                                             .jar:/root/canal/bin/../lib/scala-logging_2.11-3.8.0.jar:/root/canal/bin/../lib/                                                                                                                                                             scala-library-2.11.12.jar:/root/canal/bin/../lib/rocketmq-remoting-4.3.0.jar:/ro                                                                                                                                                             ot/canal/bin/../lib/rocketmq-logging-4.3.0.jar:/root/canal/bin/../lib/rocketmq-c                                                                                                                                                             ommon-4.3.0.jar:/root/canal/bin/../lib/rocketmq-client-4.3.0.jar:/root/canal/bin                                                                                                                                                             /../lib/protobuf-java-3.6.1.jar:/root/canal/bin/../lib/oro-2.0.8.jar:/root/canal                                                                                                                                                             /bin/../lib/netty-tcnative-boringssl-static-1.1.33.Fork26.jar:/root/canal/bin/..                                                                                                                                                             /lib/netty-all-4.1.6.Final.jar:/root/canal/bin/../lib/netty-3.2.2.Final.jar:/roo                                                                                                                                                             t/canal/bin/../lib/mysql-connector-java-5.1.47.jar:/root/canal/bin/../lib/metric                                                                                                                                                             s-core-2.2.0.jar:/root/canal/bin/../lib/lz4-java-1.4.1.jar:/root/canal/bin/../li                                                                                                                                                             b/logback-core-1.1.3.jar:/root/canal/bin/../lib/logback-classic-1.1.3.jar:/root/                                                                                                                                                             canal/bin/../lib/kafka-clients-1.1.1.jar:/root/canal/bin/../lib/kafka_2.11-1.1.1                                                                                                                                                             .jar:/root/canal/bin/../lib/jsr305-3.0.2.jar:/root/canal/bin/../lib/jopt-simple-                                                                                                                                                             5.0.4.jar:/root/canal/bin/../lib/jctools-core-2.1.2.jar:/root/canal/bin/../lib/j                                                                                                                                                             cl-over-slf4j-1.7.12.jar:/root/canal/bin/../lib/jackson-databind-2.9.6.jar:/root                                                                                                                                                             /canal/bin/../lib/jackson-core-2.9.6.jar:/root/canal/bin/../lib/jackson-annotati                                                                                                                                                             ons-2.9.0.jar:/root/canal/bin/../lib/ibatis-sqlmap-2.3.4.726.jar:/root/canal/bin                                                                                                                                                             /../lib/httpcore-4.4.3.jar:/root/canal/bin/../lib/httpclient-4.5.1.jar:/root/can                                                                                                                                                             al/bin/../lib/h2-1.4.196.jar:/root/canal/bin/../lib/guava-18.0.jar:/root/canal/b                                                                                                                                                             in/../lib/fastsql-2.0.0_preview_855.jar:/root/canal/bin/../lib/fastjson-1.2.28.j                                                                                                                                                             ar:/root/canal/bin/../lib/druid-1.1.9.jar:/root/canal/bin/../lib/disruptor-3.4.2                                                                                                                                                             .jar:/root/canal/bin/../lib/commons-logging-1.1.3.jar:/root/canal/bin/../lib/com                                                                                                                                                             mons-lang3-3.4.jar:/root/canal/bin/../lib/commons-lang-2.6.jar:/root/canal/bin/.                                                                                                                                                             ./lib/commons-io-2.4.jar:/root/canal/bin/../lib/commons-compress-1.9.jar:/root/c                                                                                                                                                             anal/bin/../lib/commons-codec-1.9.jar:/root/canal/bin/../lib/commons-beanutils-1                                                                                                                                                             .8.2.jar:/root/canal/bin/../lib/canal.store-1.1.3.jar:/root/canal/bin/../lib/can                                                                                                                                                             al.sink-1.1.3.jar:/root/canal/bin/../lib/canal.server-1.1.3.jar:/root/canal/bin/                                                                                                                                                             ../lib/canal.protocol-1.1.3.jar:/root/canal/bin/../lib/canal.prometheus-1.1.3.ja                                                                                                                                                             r:/root/canal/bin/../lib/canal.parse.driver-1.1.3.jar:/root/canal/bin/../lib/can                                                                                                                                                             al.parse.dbsync-1.1.3.jar:/root/canal/bin/../lib/canal.parse-1.1.3.jar:/root/can                                                                                                                                                             al/bin/../lib/canal.meta-1.1.3.jar:/root/canal/bin/../lib/canal.instance.spring-                                                                                                                                                             1.1.3.jar:/root/canal/bin/../lib/canal.instance.manager-1.1.3.jar:/root/canal/bi                                                                                                                                                             n/../lib/canal.instance.core-1.1.3.jar:/root/canal/bin/../lib/canal.filter-1.1.3                                                                                                                                                             .jar:/root/canal/bin/../lib/canal.deployer-1.1.3.jar:/root/canal/bin/../lib/cana                                                                                                                                                             l.common-1.1.3.jar:/root/canal/bin/../lib/aviator-2.2.1.jar:/root/canal/bin/../l                                                                                                                                                             ib/aopalliance-1.0.jar:/root/canal/bin/../lib/aliware-apache-rocketmq-cloud-1.0.                                                                                                                                                             jar:
cd to /root/canal/bin for continue
root@lvvyi:~/canal/bin

然后去log里面查看下启动日志;

root@lvvyi:~/canal# ls
bin  conf  lib  logs
root@lvvyi:~/canal# cd logs/
root@lvvyi:~/canal/logs# ls
canal  canalQueue  example  metrics
root@lvvyi:~/canal/logs# cd canal
root@lvvyi:~/canal/logs/canal# ls
2020-08-17  2020-08-18  2020-08-19  2020-08-20  2020-08-24  2020-08-25  2020-08-26  2020-08-27  begin  canal.log  init
root@lvvyi:~/canal/logs/canal# tail -f canal.log
        at com.alibaba.fastsql.sql.parser.SQLStatementParser.parseStatementList(SQLStatementParser.java:228) ~[fastsql-2.0.0_preview_855.jar:2.0.0_preview_855]
        at com.alibaba.fastsql.sql.SQLUtils.parseStatements(SQLUtils.java:536) ~[fastsql-2.0.0_preview_855.jar:2.0.0_preview_855]
        at com.alibaba.fastsql.sql.repository.SchemaRepository.console(SchemaRepository.java:439) ~[fastsql-2.0.0_preview_855.jar:2.0.0_preview_855]
        at com.alibaba.otter.canal.parse.inbound.mysql.tsdb.MemoryTableMeta.apply(MemoryTableMeta.java:81) ~[canal.parse-1.1.3.jar:na]
        at com.alibaba.otter.canal.parse.inbound.mysql.tsdb.DatabaseTableMeta.applyHistoryOnMemory(DatabaseTableMeta.java:463) [canal.parse-1.1.3.jar:na]
        at com.alibaba.otter.canal.parse.inbound.mysql.tsdb.DatabaseTableMeta.rollback(DatabaseTableMeta.java:174) [canal.parse-1.1.3.jar:na]
        at com.alibaba.otter.canal.parse.inbound.mysql.AbstractMysqlEventParser.processTableMeta(AbstractMysqlEventParser.java:106) [canal.parse-1.1.3.jar:na]
        at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$3.run(AbstractEventParser.java:192) [canal.parse-1.1.3.jar:na]
        at java.lang.Thread.run(Thread.java:748) [na:1.8.0_261]
2020-08-31 16:14:29.624 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mysql-bin.000113,position=58895318,serverId=123,gtid=,timestamp=1598861649000] cost : 651ms , the next step is binlog dump

the next step is binlog dump

出现上面这句话就说明是一家启动成功了 我这边是因为数据库有些问题上面才会报些waring，但是并不影响使用。

结束

以上就是canal的搭建方式 非常简单,但是也有很多的坑,如果你在搭建中遇到了些什么问题,欢迎在本文章下面留言,可以一起探讨下!

丘下两点vvv
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Canal开发：基于Java
weixin_66488549的博客
03-03 237
Canal开发：基于Java
java架构师进阶之路
henhenha的博客
03-30 3570
包含了计算机基础、算法和数据结构、常用工具、java核心知识、性能优化、基础框架、数据库、消息队列、缓存中间件、搜索引擎、大数据、RPC、网关、容器、面试等知识
java整合Canal实现数据库监听(附完整的踩坑总结)
最新发布
2301_77516476的博客
04-20 2200
如下图所示:需要检查下地址的配置,确认能ping通如果可以ping通但是仍然无法连接,查看是否是虚拟机的防火墙是否打开,11111端口可能被拦截。
Canal Java 入门与使用
a56546的博客
06-07 3570
​ 在如今时代数据是最关键的，大的数据量势必会影响用户体验，在我的日常开发中遇到了一个类似的问题，由于数据库中数据量过于庞大造成查询效率低，决定采用redis来存取最新的数据，由于系统为其它语言编写本人并不擅长，便采取canal来通过增量的方式更新数据。下面让我们了解一下canal。以上介绍来自于官网介绍。我们可以简单把canal理解为一个同步增量数据的工具。上图为官方给出的示意图，可以看到canal把自己伪装成一个mysql的slave，架起了MySQL与其他软件之间的桥梁。canal的工作原理就是把自
java 面试 高质量 集合面试问题，数据异构之 Canal 初探，自学者福利
2401_84007049的博客
04-04 921
由于篇幅原因，就不多做展示了一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！
使用canal同步mysql数据到es
microcosm1994的博客
08-27 1579
安装方法与简单示例 文档地址：https://github.com/alibaba/canal canal client demo： package com.canalclient.process; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import com.alibaba.otter.canal.client.CanalConnector; import com.alibaba.otter.ca
java进阶
JOHN
01-30 1539
1. 大数据2. 中间件3. 高性能4. 高并发5. 高可用6. 网关7. 缓存8. devops9. java基础10. 数据库11. DDD12.Netty13.MQ14. Zookeeper15. 其他。
超详细的Canal入门，看这篇就够了！
热门推荐
yehongzhi1994的博客
08-09 21万+
Canal入门看这篇就够了！
canal集群部署及使用
zenglingmin8的博客
07-20 2244
本文主要讲解canal集群部署及使用
Java项目能力之【NoSQL学习文章大集合150篇】
CSDN能力认证官方博客
03-22 1305
谢天谢地你来了，我们已经为你准备了Java项目能力中的NoSQL学习文章大集合，欢迎一键收藏，并与我们分享你的学习心得。 基础IT技术内容适合技术初学者，可以详细了解基础软件开发工程师所具备“信息/编码”、“IP/组网”、“程序逻辑”和“Web基础”这四项基础能力。 具体收录明细如下： Redis 34篇 MongoDB 33篇 Elasticsearch 42篇 HBase 41篇 欢迎一键收藏，并与我们分享你的学习心得，希望我们一同进步。 第一部分：Redis 34篇 1 超强.
Canal部署操作说明及应用场景验证
04-24
Canal部署操作说明及应用场景验证，包括 Canal Client Java Demo 、详细的部署操作流程、应用场景验证结论。非常合适Canal初学者参考
支持mysql5.6.19的canal版本
02-25
解决现在开源版本canal使用mysql5.6.19版本以上bug，mysql连接不断开的bug
Java 接入 canal
乌鲁木齐001号程序员
06-14 818
canal.adapter | 问题 canal.adapter | 原理 canal.adapter 会给它配置一个配置文件 shop.yml； shop.yml 中会定义当 canal.deployer 同步过来 MySQL 的 binlog 时 canal.adapter 要执行的 SQL，这里定义的 SQL 长这样： select a.id,a.name,a.tags,concat(a....
Canal 索引构建
乌鲁木齐001号程序员
06-13 204
增量索引构建的要求 准实时； 性能； 编程简化； Canal | 简介 消息管道； source 为 MySQL 数据库； target 为其他存储，比如 ElasticSearch； Canal 伪装成一个 MySQL 主库的备库，感知 MySQL 中 binlog 的变化，并同步出来一个结构化的数据，交给 Canal 管道的消费端； 开启 MySQL 的 binglog Ubuntu...
canal java_超详细canal入门，看这篇就够了
weixin_36300831的博客
02-16 5141
思维导图 本文章已收录到个人博客网站(我爱B站)：me.lovebilibili.com前言我们都知道一个系统最重要的是数据，数据是保存在数据库里。但是很多时候不单止要保存在数据库中，还要同步保存到Elastic Search、HBase、Redis等等。这时我注意到阿里开源的框架Canal，他可以很方便地同步数据库的增量数据到其他的存储应用。所以在这里总结一下，分享给各位读者参考~一、什么是...
canal简单安装使用--转载
z7one
09-07 196
canal简单安装使用 canal简介：https://github.com/alibaba/canal 1、数据库配置 首先使用canal需要修改数据库配置 [mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复 创建canal数据库用户 CREATE USER canal IDENTI
Java开发 - Canal的基本用法
CodingFire的博客
06-30 4211
译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。下面这张图可以代表Canal的用途，就染我们来一起瞻仰一下：基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、倒排索引等)业务 cache 刷新带业务逻辑的增量数据处理当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x。
alibaba canal java代码模板
yy的博客
06-01 270
import com.alibaba.otter.canal.client.CanalConnector; import com.alibaba.otter.canal.client.CanalConnectors; import com.alibaba.otter.canal.protocol.CanalEntry; import com.alibaba.otter.canal.protocol.Message; import com.google.protobuf.InvalidProtocol...
springcloud如何使用canal监听mysql数据库操作
不知名博客
03-09 1510
文章目录配置pom.xmlapplication.yml 前提须知:linux配置canal canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。 配置 pom.xml <dependency> <groupId>top.javatool</groupId> <artifactId>canal-spring-boot-starter</a
请用docker-compose部署canal-server主从
07-11
以下是一个用docker-compose部署canal-server主从的示例： 首先，创建一个`docker-compose.yml`文件，并添加以下内容： ```yaml version: '3' services: canal-server-master: image: canal/canal-server ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值