基于Canal实现MySQL 8.0 数据库数据同步

最新推荐文章于 2024-04-17 10:17:58 发布
最新推荐文章于 2024-04-17 10:17:58 发布
阅读量526 收藏
点赞数
文章标签： 数据库 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qw_6918966011/article/details/132247219
版权

前言

服务器说明

主机名称操作系统说明
192.168.11.82Ubuntu 22.04主库所在服务器
192.168.11.28Oracle Linux Server 8.7从库所在服务器

版本说明

<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-plaintext language-txt">MySQL版本：MySQL_8.0.32
Canal版本：Canal_1.1.7
           //我的canal安装部署在192.168.11.82上，当然你也可以部署在其它的服务器上
Java版本：1.8.0.362
</code></span></span>

配置MySQL8.0数据库

修改MySQL配置文件

1、Ubuntu系统下MySQL配置文件位置
<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">cd /etc/mysql/mysql.conf.d
vi mysqld.cnf
</code></span></span>
2、CentOS系统下MySQL配置文件位置
<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">vi /etc/my.cnf
</code></span></span>
3、添加如下配置，开启MySQL binlog功能
<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-powershell"><span style="color:#008000"># 服务编号, 与其它节点不冲突即可</span>
server_id=<span style="color:#880000">1</span>
log_bin=binlog
binlog_format=ROW
</code></span></span>

Canal简介

关于canal简介，这里就不再阐述，具体可以参看官方文档介绍，地址如下：

https://github.com/alibaba/canal/wiki/简介

主库服务器操作

启动MySQL8.0数据库

<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-powershell">systemctl <span style="color:#0000ff">start</span> mysql  或者
systemctl <span style="color:#0000ff">start</span> mysqld.service
Ubuntu 使用前者
</code></span></span>

在这里插入图片描述

创建账号密码

<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-sql">mysql<span style="color:#ab5656">></span> <span style="color:#0000ff">CREATE</span> <span style="color:#0000ff">USER</span> canal IDENTIFIED <span style="color:#0000ff">BY</span> <span style="color:#a31515">'canal'</span>;  
mysql<span style="color:#ab5656">></span> <span style="color:#0000ff">GRANT</span> <span style="color:#0000ff">SELECT</span>, <span style="color:#0000ff">SHOW</span> <span style="color:#0000ff">VIEW</span>, REPLICATION SLAVE, REPLICATION CLIENT <span style="color:#0000ff">ON</span> <span style="color:#ab5656">*</span>.<span style="color:#ab5656">*</span> <span style="color:#0000ff">TO</span> <span style="color:#a31515">'canal'</span>@<span style="color:#a31515">'%'</span>;
mysql<span style="color:#ab5656">></span> FLUSH PRIVILEGES;
</code></span></span>

canal数据同步服务器操作

创建canal文件夹

<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">cd /usr/local
mkdir canal
cd canal
mkdir canal-package canal-adapter canal-deployer
</code></span></span>

安装canal deployer和canal adapter

官网下载地址
<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-plaintext language-txt">https://github.com/alibaba/canal/releases/tag/canal-1.1.7-alpha-2
</code></span></span>

在这里插入图片描述
只需要下载标红框的两个文件即可。复制到canal-package文件夹下。
解压

<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">tar -zxvf canal.adapter-1.1.7-SNAPSHOT.tar.gz -C /usr/local/canal/canal-adapter
tar -zxvf canal.deployer-1.1.7-SNAPSHOT.tar.gz -C /usr/local/canal/canal-deployer
</code></span></span>

配置和启动canal-deployer

配置canal-deployer

由于此次同步为MySQL数据库间的数据同步，所以只需修改 instance.properties 即可。

<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">cd /usr/local/canal/canal-deployer/conf/example
vi instance.properties
</code></span></span>

修改内容如下：
在这里插入图片描述

<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-php"><span style="color:#008000"># 修改说明</span>
第一个框：主库所在服务器IP
第二个框：主库数据库账号密码
第三个框：规则如下：
instance.properties中同步数据表默认为同步数据库下所有的表信息，具体配置如图第三个框：
<span style="color:#008000"># 若需要同步某几张表，可以参考如下配置：</span>
<span style="color:#008000"># 同步某数据库test1下的user表,test2数据库下的所有表，所有库下所有表数据</span>
canal.instance.filter.regex=test1.user,test2\\..*,.*\\..*
</code></span></span>
启动canal-deployer
<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">cd /usr/local/canal/canal-deployer/bin
./startup.sh
</code></span></span>

查看日志确定是否启动成功

<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">cd /usr/local/canal/canal-deployer/logs/example
cat example.log
</code></span></span>

我遇到的几个错误情况，仅供参考：
canal-deployer启动之后，如果在 logs 文件夹下没有 example 文件，参考如下情况说明：
1、查看 /usr/local/canal/canal-deployer/bin 文件夹下，是否存在.pid的文件。
2、查看logs文件夹下的canal文件夹下的canal_stdout.log文件，命令如下：

<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">cat /usr/local/canal/canal-deployer/logs/canal/canal_stdout.log
</code></span></span>

若出现如下信息：
在这里插入图片描述
解决方案：（在此强烈建议系统中只安装jdk8或者jdk11，切不可采用jenv管理jdk，安装多个版本）

<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">cd /usr/local/canal/canal-deployer/bin
./stop.sh
vi startup.sh
<span style="color:#2b91af"># </span>删除报错信息包含的参数（该错误信息可能会出现多次，出现哪个删除哪个即可）
./startup.sh
</code></span></span>

重新启动：

<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">cd /usr/local/canal/canal-deployer/bin
./startup.sh
</code></span></span>

直到出现以下信息：

<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell"><span style="color:#2b91af"># </span>打开日志文件
cat /usr/local/canal/canal-deployer/logs/example/example.log
<span style="color:#2b91af"># </span>出现以下信息说明canal-deployer启动成功
 [destination = example , address = /192.168.11.82:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=binlog.000040,position=65224673,serverId=1,gtid=,timestamp=1682062760000] cost : 1331ms , the next step is binlog dump
</code></span></span>

配置canal-adapter

修改配置文件
<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">cd /usr/local/canal/canal-adapter/conf
vi application.yml
</code></span></span>
<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">server:
  port: 8081
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
    default-property-inclusion: non_null

canal.conf:
  mode: tcp #tcp kafka rocketMQ rabbitMQ
  flatMessage: true
  zookeeperHosts:
  syncBatchSize: 1000
  retries: -1
  timeout:
  accessKey:
  secretKey:
  consumerProperties:
    # canal tcp consumer
    # 修改位置1：Canal-deployer所在主机IP
    canal.tcp.server.host: 127.0.0.1:11111
    canal.tcp.zookeeper.hosts:
    canal.tcp.batch.size: 500
    canal.tcp.username:
    canal.tcp.password:
    # kafka consumer
    kafka.bootstrap.servers: 127.0.0.1:9092
    kafka.enable.auto.commit: false
    kafka.auto.commit.interval.ms: 1000
    kafka.auto.offset.reset: latest
    kafka.request.timeout.ms: 40000
    kafka.session.timeout.ms: 30000
    kafka.isolation.level: read_committed
    kafka.max.poll.records: 1000
    # rocketMQ consumer
    rocketmq.namespace:
    rocketmq.namesrv.addr: 127.0.0.1:9876
    rocketmq.batch.size: 1000
    rocketmq.enable.message.trace: false
    rocketmq.customized.trace.topic:
    rocketmq.access.channel:
    rocketmq.subscribe.filter:
    # rabbitMQ consumer
    rabbitmq.host:
    rabbitmq.virtual.host:
    rabbitmq.username:
    rabbitmq.password:
    rabbitmq.resource.ownerId:
<span style="color:#2b91af"># </span>修改位置：添加源库配置信息，此处为同步同库下所有表信息
  srcDataSources:
    defaultDS:
      url: jdbc:mysql://192.168.11.82:3306/mynet?useUnicode=true&characterEncoding=utf8&autoReconnect=true&useSSL=false
      username: ymliu
      password: ymliu2023

  canalAdapters:
  - instance: example # canal instance Name or mq topic name
    groups:
    - groupId: g1
      outerAdapters:
      - name: logger
      - name: rdb
        key: mysql1
        properties:
          jdbc.driverClassName: com.mysql.jdbc.Driver
          jdbc.url: jdbc:mysql://192.168.11.28:3306/mynet?useUnicode=true&characterEncoding=utf8&autoReconnect=true&useSSL=false
          jdbc.username: ymliu
          jdbc.password: ymliu2023
          druid.stat.enable: false
          druid.stat.slowSqlMillis: 1000
<span style="color:#2b91af"># </span>     - name: rdb
<span style="color:#2b91af"># </span>       key: oracle1
<span style="color:#2b91af"># </span>       properties:
<span style="color:#2b91af"># </span>         jdbc.driverClassName: oracle.jdbc.OracleDriver
<span style="color:#2b91af"># </span>         jdbc.url: jdbc:oracle:thin:@localhost:49161:XE
<span style="color:#2b91af"># </span>         jdbc.username: mytest
<span style="color:#2b91af"># </span>         jdbc.password: m121212
<span style="color:#2b91af"># </span>     - name: rdb
<span style="color:#2b91af"># </span>       key: postgres1
<span style="color:#2b91af"># </span>       properties:
<span style="color:#2b91af"># </span>         jdbc.driverClassName: org.postgresql.Driver
<span style="color:#2b91af"># </span>         jdbc.url: jdbc:postgresql://localhost:5432/postgres
<span style="color:#2b91af"># </span>         jdbc.username: postgres
<span style="color:#2b91af"># </span>         jdbc.password: 121212
<span style="color:#2b91af"># </span>         threads: 1
<span style="color:#2b91af"># </span>         commitSize: 3000
<span style="color:#2b91af"># </span>     - name: hbase
<span style="color:#2b91af"># </span>       properties:
<span style="color:#2b91af"># </span>         hbase.zookeeper.quorum: 127.0.0.1
<span style="color:#2b91af"># </span>         hbase.zookeeper.property.clientPort: 2181
<span style="color:#2b91af"># </span>         zookeeper.znode.parent: /hbase
<span style="color:#2b91af"># </span>     - name: es
<span style="color:#2b91af"># </span>       hosts: 127.0.0.1:9300 <span style="color:#008000"># 127.0.0.1:9200 for rest mode</span>
<span style="color:#2b91af"># </span>       properties:
<span style="color:#2b91af"># </span>         mode: transport <span style="color:#008000"># or rest</span>
<span style="color:#2b91af"># </span>         <span style="color:#008000"># security.auth: test:123456 #  only used for rest mode</span>
<span style="color:#2b91af"># </span>         cluster.name: elasticsearch
<span style="color:#2b91af"># </span>     - name: kudu
<span style="color:#2b91af"># </span>       key: kudu
<span style="color:#2b91af"># </span>       properties:
<span style="color:#2b91af"># </span>         kudu.master.address: 127.0.0.1 <span style="color:#008000"># ',' split multi address</span>
<span style="color:#2b91af"># </span>     - name: phoenix
<span style="color:#2b91af"># </span>       key: phoenix
<span style="color:#2b91af"># </span>       properties:
<span style="color:#2b91af"># </span>         jdbc.driverClassName: org.apache.phoenix.jdbc.PhoenixDriver
<span style="color:#2b91af"># </span>         jdbc.url: jdbc:phoenix:127.0.0.1:2181:/hbase/db
<span style="color:#2b91af"># </span>         jdbc.username:
<span style="color:#2b91af"># </span>         jdbc.password:

</code></span></span>
修改canal-adapter/conf/rdb文件夹下的yml文件
<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">cd /usr/local/canal/canal-adapter/conf/rdb
vi mytest_user.yml
</code></span></span>
同步数据库下的某张表，例如同步mytest数据库下的user表，操作如下：
<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">dataSourceKey: defaultDS        # 源数据源的key, 对应上面配置的srcDataSources中的值
destination: example            # cannal的instance或者MQ的topic
groupId: g1                     # 对应MQ模式下的groupId, 只会同步对应groupId的数据
outerAdapterKey: mysql1         # adapter key, 对应上面配置outAdapters中的key
concurrent: true                # 是否按主键hash并行同步, 并行同步的表必须保证主键不会更改及主键不能为其他同步表的外键!
dbMapping:
  database: test                # 源数据源的database/schema
  table: user                   # 源数据源表名
  targetTable: test.user        # 目标数据源的库名.表名
  targetPk:                     # 主键映射
    id: id                      # 如果是复合主键可以换行映射多个
  mapAll: true                  # 是否整表映射, 要求源表和目标表字段名一模一样 (如果targetColumns也配置了映射, 则以targetColumns配置为准)
<span style="color:#2b91af">  #</span>targetColumns:               <span style="color:#008000"># 字段映射, 格式: 目标表字段: 源表字段, 如果字段名一样源表字段名可不填</span>
<span style="color:#2b91af">  # </span> <span style="color:#0000ff">id</span>:
<span style="color:#2b91af">  # </span> name:
<span style="color:#2b91af">  # </span> role_id:
<span style="color:#2b91af">  # </span> c_time:
<span style="color:#2b91af">  # </span> test1: 
</code></span></span>
同步数据库下所有表数据，例如：同步mytest数据库下所有表数据，操作如下：
<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">dataSourceKey: defaultDS
destination: example
groupId: g1
outerAdapterKey: mysql1
concurrent: true
dbMapping:
  mirrorDb: true
  database: test          # 该数据库名称修改为你的数据库名称
</code></span></span>
启动canal-adapter
<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-shell">cd /usr/local/canal/canal-adapter/bin
./startup.sh
</code></span></span>

出现错误，排查方式同canal-deployer
查看日志信息

<span style="color:#000000"><span style="background-color:#ffffff"><code class="language-powershell"><span style="color:#0000ff">cd</span> /usr/local/canal/canal<span style="color:#a31515">-adapter</span>/logs/adapter
<span style="color:#0000ff">cat</span> adapter.log
</code></span></span>
补充说明：

1、只有canal-adapter成功启动并正确连接canal-deployer后，canal-deployer才会读取binlog信息。/usr/local/canal/canal-deployer/conf/example 文件夹下才会出现meta.dat文件。
2、canal-adapter启动以后会出现127.0.0.1：3306/canal_manage连接失败信息，该信息是因为我们没有安装启动前端页面所致，可以忽略，不影响数据同步。
3、以上所有内容均为自己实操结果。 

qw_6918966011
关注
Mysql-8.0 Canal-1.1.6配置踩坑
weixin_43837900的博客
12-28 585
mysql8.0 canal1.1.6 配置踩坑
canal集群高可用模式实战，canal1.1.6实现mysql8.0数据增量/全量同步到elasticsearch7，保姆级教程
qq_45132989的博客
09-05 5447
主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。canal的工作原理：1.canal模拟mysql sllave的交互协议，伪装自己为mysql salve；2.mysql master收到dump请求，开始推送binary log给 slave（也就是canal）；3.canal解析binary log 对象（原始byte流），再发送到存储目的地，比如MySQL，Kafka，Elastic Search等等。canal的数据同步可以增量/全量。
使用Canal同步MySQL 8到ES中小白配置教程
最新发布
猫头虎：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作：Libin9iOak，共赴知识与乐趣的探索之旅！
04-17 2244
Canal是由阿里巴巴开源的一款中间件，能够模拟MySQL Slave的行为，通过解析binlog实现数据的实时同步。它主要用于大数据处理和搜索引擎优化，是连接数据库和应用服务的重要桥梁。
Canal初探 (mysql8)
刘献强的专栏
06-18 631
1. binlog开启, 并设置为ROW格式 修改my.cnf, 重点关注两个参数 log_bin = ON binlog_format = ROW select version(); # mysql version (8.0) show master logs; # master binlog show master status; # master 状态 show global variables like
使用canal实现MySQL 8 增量同步数据到 ElasticSearch 7.15.2中 linux
Gblfy_Blog
11-23 1836
使用canal实现MySQL 8 增量同步数据到 ElasticSearch 7.15.2中 linux
安装Canal1.1.5 并监控mysql8的binlog
qq690452074的专栏
07-05 577
安装Canal1.1.5 并监控mysql8的binlog
Canal+zookeeper+mysql8.0实现数据库同步，所有的坑我都踩了
qq_27458715的博客
07-12 4289
1、安装zookeeper3.4.5(必须是这个版本，其他版本都不行) wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz 2、复制conf的zoo_example.cfg并改名为zoo.cfg，并修改配置如下，创建data和logs文件夹。 dataDir=/usr/local/...
canal下载 linux_Canal 实现 Mysql数据库实时数据同步
weixin_39827304的博客
01-13 161
简介1.1 canal介绍​ Canal是一个基于MySQL二进制日志的高性能数据同步系统。Canal广泛用于阿里巴巴集团(包括https://www.taobao.com)，以提供可靠的低延迟增量数据管道，github地址：https://github.com/alibaba/canalCanal Server能够解析MySQL binlog并订阅数据更改，而Canal Client可以实现将更...
springboot整合canal实现与mysql数据实时同步
xyouzi的博客
05-27 1124
以下有关linux操作都是基于docker容器的 一、Canal介绍 1、介绍 canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL。 2、Canal环境搭建 canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能 （1）检查binlog功能是否有开启 mysql> show variables like ‘log_bin’; ±--------------±----
支持mysql5.6.19的canal版本
02-25
解决现在开源版本canal使用mysql5.6.19版本以上bug，mysql连接不断开的bug
基于Canal和Kafka实现MySQL的Binlog近实时同步
m0_67698950的博客
05-27 504
前提# 近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。 这篇文章简单介绍一下如何快速地搭建一套Canal相关的组件。 关于Canal# 简介# 下面的简介和下一
Docker Canal容器连接主机MySQL 8.0
dkcjh的博客
07-22 147
Canal 1.1.7 (大概）instance.properties 配置my.ini 配置。
【canal1.1.5】mysql8主从数据库实时增量同步
lorogy的博客
04-21 2029
这里写目录标题简介准备mysql修改canal-deployer安装配置canal-adapter安装配置测试 简介 阿里巴巴旗下的一款开源项目，纯java开发， 基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql mysql主从复制原理： master将改变记录到二进制日志(binary log)中 slave将master的binary log events拷贝到它的中继日志(relay log) slave重做中继日志中的事件，将改变反映它自己的数据 canal原理
canal mysql 同步_canal mysql 数据同步
weixin_36353849的博客
01-18 352
首先canal是什么呢？canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL；简单来说，canal 会将自己伪装成 MySQL 从节点(Slave)，并从主节点(Master)获取 Binlog，解析后供消费端使用。canal 包含两个组成部分：服务端和客户端。服务端负责连接至不同的 MySQL 实例，并为每个实例...
Docker搭建Cannal监听MySQL8.x实战
qq_23354917的博客
09-27 1029
Docker搭建Cannal监听MySQL8.x实战
mysql8+canal+ElasticSearch数据更新
qq_41072148的博客
07-27 1011
1.业务要求与背景   先来看一张图，简单地说明了我们这三个角色间的关系：   mysql用于存储我们的业务数据，但直接使用mysql显然并不适合检索等业务应用，因此应当将数据保存到使用倒排索引的es中去。但同时es无法实时监听mysql的数据变化进行自动写入，因此可以使用上图中的方法进行相应的数据操作，在数据量大的情况下可以考虑集群。   特别的，canal只能满足与增量更新，因此在构建es索引时需要将mysql内已有数据进行相应的全量更新操作
使用canal实现MySQL 8 全量同步数据到 ElasticSearch 7.15.2中 linux
Gblfy_Blog
11-23 4387
文章目录一、软件安装1. jdk 安装2. ES7.15.2 安装3. Mysql 8.0 安装4. canal下载二、Mysql 配置2.1. 开启binlog2.2. 验证binlog状态2.3. 创建账号2.4. 权限赋予2.5. 刷新权限2.6. 创建数据库2.7. 初始化表结构2.8. 初始化数据三、canal-deployer的配置与使用3.1. 解压deployer3.2. 解压后目录结构3.3. 修改配置3.4. 启动deployer四、canal-adaptor的使用和配置4.1. 解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qw_6918966011

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值