【canal1.1.5】mysql8主从数据库实时增量同步

最新推荐文章于 2024-04-27 20:39:27 发布
最新推荐文章于 2024-04-27 20:39:27 发布
阅读量1.9k 收藏 10
点赞数
分类专栏： 数据库 运维 文章标签： 数据库 mysql 运维 canal
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lorogy/article/details/115964280
版权

canal

简介

阿里巴巴旗下的一款开源项目，纯java开发， 基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql
在这里插入图片描述
mysql主从复制原理：

  1. master将改变记录到二进制日志(binary log)中
  2. slave将master的binary log events拷贝到它的中继日志(relay log)
  3. slave重做中继日志中的事件，将改变反映它自己的数据

canal原理：

  1. canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
  2. mysql master收到dump请求，开始推送binary log给slave(也就是canal)
  3. canal解析binary log对象(原始为byte流)

准备

  1. mysql主数据库：地址、账密、建表
  2. mysql从数据库：地址、账密、建表
  3. canal-developer下载：服务器，wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz
  4. canal-adapter下载：客户端，wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.adapter-1.1.5.tar.gz

mysql修改

  1. 开启binlog功能，vi /etc/my.cnf增加以下代码
log_bin=mysql-bin
binlog_format=ROW
# 服务编号，与其它节点不冲突就可以
server-id=1
# 每次执行操作都与磁盘进行同步
sync-binlog=1

在这里插入图片描述

  1. 重启mysql，systemctl restart mysqld
  2. 查看是否开启
[root@CompoCloud ~]# mysql -uroot -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 71
Server version: 8.0.23 MySQL Community Server - GPL

Copyright (c) 2000, 2021, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON    |
+---------------+-------+
1 row in set (0.01 sec)

mysql> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
1 row in set (0.01 sec)
  1. 创建mysql canal用户并授权
mysql> create user canal identified by 'Canal@123';
Query OK, 0 rows affected (1.02 sec)

mysql> grant select, replication slave, replication client on *.* to 'canal'@'%' ;
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.02 sec)

注意测试是否该账密是否能成功连接，保证账密无误

canal-deployer安装配置

  1. 解压，tar -zxvf canal.deployer-1.1.5.tar.gz -C /opt/canal/canal-deployer
  2. 修改canal-deployer/canal.properties，去掉canal.instance.parser.parallelBufferSize前的注释

采坑：没有修改此处导致日志报错数据库连接不成功

# parallel parser config
canal.instance.parser.parallel = true
## concurrent thread number, default 60% available processors, suggest not to exceed Runtime.getRuntime().availableProcessors()
canal.instance.parser.parallelThreadSize = 16
## disruptor ringbuffer size, must be power of 2
canal.instance.parser.parallelBufferSize = 256
  1. 修改canal-deployer/conf/example/instance.properties，配置主数据库地址和账密
#################################################
## mysql serverId , v1.0.26+ will autoGen
# canal.instance.mysql.slaveId=0

# enable gtid use true/false
canal.instance.gtidon=false

# position info
# 修改为主数据库的地址
canal.instance.master.address=[主数据库ip]:3306
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=

# username/password
# 修改为主数据库的canal用户权限的账密
canal.instance.dbUsername=canal
canal.instance.dbPassword=Canal@123
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex
canal.instance.filter.regex=.*\\..*
# table black regex
canal.instance.filter.black.regex=mysql\\.slave_.*
# table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch
# table field black filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contact/ch

# mq config
canal.mq.topic=example
# dynamic topic route by schema or table regex
#canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*
canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*
#canal.mq.dynamicTopicPartitionNum=test.*:4,mycanal:6
#################################################
  1. 启动服务
cd /opt/canal/canal-deployer/bin
./startup.sh

#停止
./stop.sh
#重启
./stop.sh
./startup.sh
  1. 可通过查看日志测试是否成功
[root@CompoCloud canal-deployer]# cat logs/canal/canal.log 
......
......
2021-04-21 14:45:14.905 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## start the canal server.
2021-04-21 14:45:14.969 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[172.26.223.190(172.26.223.190):11111]
2021-04-21 14:45:16.689 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......


[root@CompoCloud canal-deployer]# cat logs/example/example.log 
......
......
2021-04-21 14:45:16.387 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 
2021-04-21 14:45:16.401 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*\..*$
2021-04-21 14:45:16.401 [main] WARN  c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter : ^mysql\.slave_.*$
2021-04-21 14:45:16.621 [main] INFO  c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....

canal-adapter安装配置

  1. 解压，tar -zxvf canal.adapter-1.1.5.tar.gz -C /opt/canal/canal-adapter
  2. 修改canal-adapter/conf/application.yml，我需要同步同一个数据库的3张表，所以只需要1个groupId，但是需要配置3个rdb，每个rdb对应不同的key值，这样是为了与之后table的配置相对应。

采坑：不同数据库可设置多个groupId，同一数据库设置多个容易无法正确对应，会导致虽然查看日志数据更新成功，但是从数据库却没同步的情况

server:
  port: 8081
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
    default-property-inclusion: non_null

canal.conf:
  mode: tcp #tcp kafka rocketMQ rabbitMQ
  #flatMessage: true
  #zookeeperHosts:
  syncBatchSize: 1000
  retries: 0
  timeout:
  accessKey:
  secretKey:
  consumerProperties:
    # canal tcp consumer
    canal.tcp.server.host: 127.0.0.1:11111
    #canal.tcp.zookeeper.hosts:
    #canal.tcp.batch.size: 500
    #canal.tcp.username:
    #canal.tcp.password:
    # kafka consumer
    #kafka.bootstrap.servers: 127.0.0.1:9092
    #kafka.enable.auto.commit: false
    #kafka.auto.commit.interval.ms: 1000
    #kafka.auto.offset.reset: latest
    #kafka.request.timeout.ms: 40000
    #kafka.session.timeout.ms: 30000
    #kafka.isolation.level: read_committed
    #kafka.max.poll.records: 1000
    # rocketMQ consumer
    #rocketmq.namespace:
    #rocketmq.namesrv.addr: 127.0.0.1:9876
    #rocketmq.batch.size: 1000
    #rocketmq.enable.message.trace: false
    #rocketmq.customized.trace.topic:
    #rocketmq.access.channel:
    #rocketmq.subscribe.filter:
    # rabbitMQ consumer
    #rabbitmq.host:
    #rabbitmq.virtual.host:
    #rabbitmq.username:
    #rabbitmq.password:
    #rabbitmq.resource.ownerId:

  srcDataSources:
    defaultDS:
      url: jdbc:mysql://127.0.0.1:3306/test1?useUnicode=true # 主数据库地址
      username: root # 主数据库用户名
      password: root # 主数据库密码
  canalAdapters:
  - instance: example # canal instance Name or mq topic name
    groups:
    - groupId: g1
      outerAdapters:
      - name: logger
      - name: rdb
        key: mysql1
        properties:
          jdbc.driverClassName: com.mysql.jdbc.Driver
          jdbc.url: jdbc:mysql://192.168.80.100:3306/test2?useUnicode=true # 从数据库地址
          jdbc.username: root # 从数据库用户
          jdbc.password: root # 从数据库密码
      - name: rdb
        key: mysql2
        properties:
          jdbc.driverClassName: com.mysql.jdbc.Driver
          jdbc.url: jdbc:mysql://192.168.80.100:3306/test2?useUnicode=true
          jdbc.username: root
          jdbc.password: root 
      - name: rdb
        key: mysql3
        properties:
          jdbc.driverClassName: com.mysql.jdbc.Driver
          jdbc.url: jdbc:mysql://192.168.80.100:3306/test2?useUnicode=true
          jdbc.username: root
          jdbc.password: root 
#      - name: rdb
#        key: oracle1
#        properties:
#          jdbc.driverClassName: oracle.jdbc.OracleDriver
#          jdbc.url: jdbc:oracle:thin:@localhost:49161:XE
#          jdbc.username: mytest
#          jdbc.password: m121212
#      - name: rdb
#        key: postgres1
#        properties:
#          jdbc.driverClassName: org.postgresql.Driver
#          jdbc.url: jdbc:postgresql://localhost:5432/postgres
#          jdbc.username: postgres
#          jdbc.password: 121212
#          threads: 1
#          commitSize: 3000
#      - name: hbase
#        properties:
#          hbase.zookeeper.quorum: 127.0.0.1
#          hbase.zookeeper.property.clientPort: 2181
#          zookeeper.znode.parent: /hbase
#      - name: es
#        hosts: 127.0.0.1:9300 # 127.0.0.1:9200 for rest mode
#        properties:
#          mode: transport # or rest
#          # security.auth: test:123456 #  only used for rest mode
#          cluster.name: elasticsearch
#        - name: kudu
#          key: kudu
#          properties:
#            kudu.master.address: 127.0.0.1 # ',' split multi address
  1. 修改canal-adapter/conf/rdb目录下的.yml文件，一个文件只能对应一张table，所以我们需要建立三个yml配置文件（文件名自定义就行），groupId不变，key需要与application.yml的key值对应

采坑：application配置同一个数据库的三个groupId，此处将所有表写在同一份yml文件中，也即同样配置了三个groupId，虽然查看日志数据更新成功，但是从数据库却没同步

在这里插入图片描述
mytest_user.yml

dataSourceKey: defaultDS
destination: example
groupId: g1
outerAdapterKey: mysql1 #注意对应
concurrent: true
dbMapping:
  database: test1 # 主数据库database
  table: user # 主数据库表名
  targetTable: user # 从数据库表名
  targetPk:
    id: id # 主键，注意大小写等对应
  mapAll: true # 主从数据库表结构相同时使用，否则通过targetColumns一一对应列名
  #targetColumns:
  # id:
  # name:
  # role_id:
  # c_time:
  # test1:
  etlCondition: 'where c_time>={}'
  commitBatch: 3000 # 批量提交的大小

## Mirror schema synchronize config
#dataSourceKey: defaultDS
#destination: example
#groupId: g1
#outerAdapterKey: mysql1
#concurrent: true
#dbMapping:
#  mirrorDb: true
#  database: mytest

mytest_company.yml

dataSourceKey: defaultDS
destination: example
groupId: g1
outerAdapterKey: mysql2
concurrent: true
dbMapping:
  database: test1 
  table: company
  targetTable: company
  targetPk:
    id: id
  mapAll: true
  #targetColumns:
  # id:
  # name:
  # role_id:
  # c_time:
  # test1:
  etlCondition: 'where c_time>={}'
  commitBatch: 3000 # 批量提交的大小

## Mirror schema synchronize config
#dataSourceKey: defaultDS
#destination: example
#groupId: g1
#outerAdapterKey: mysql1
#concurrent: true
#dbMapping:
#  mirrorDb: true
#  database: mytest

mytest_project.yml

dataSourceKey: defaultDS
destination: example
groupId: g1
outerAdapterKey: mysql3
concurrent: true
dbMapping:
  database: test1 
  table: project
  targetTable: project
  targetPk:
    id: id
  mapAll: true
  #targetColumns:
  # id:
  # name:
  # role_id:
  # c_time:
  # test1:
  etlCondition: 'where c_time>={}'
  commitBatch: 3000 # 批量提交的大小

## Mirror schema synchronize config
#dataSourceKey: defaultDS
#destination: example
#groupId: g1
#outerAdapterKey: mysql1
#concurrent: true
#dbMapping:
#  mirrorDb: true
#  database: mytest
  1. 启动服务
cd /opt/canal/canal-adapter/bin
./startup.sh

#停止
./stop.sh
#重启
./stop.sh
./startup.sh
  1. 可通过查看日志测试是否成功，以及报错信息
 cat canal-adapter/logs/adapter/adapter.log

测试

对主数据库进行增删改操作，查看从数据库变化。若出现错误，多查日志。

遇到过的问题

canal caching_sha2_password Auth failed

cat logs/example/example.log 
2021-08-20 15:07:00.541 [destination = example , address = /39.98.131.85:3306 , EventParser] ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destination:example[com.alibaba.otter.canal.parse.exception.CanalParseException: java.io.IOException: connect /39.98.131.85:3306 failure
Caused by: java.io.IOException: connect /39.98.131.85:3306 failure
	at com.alibaba.otter.canal.parse.driver.mysql.MysqlConnector.connect(MysqlConnector.java:85)
	at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.connect(MysqlConnection.java:90)
	at com.alibaba.otter.canal.parse.inbound.mysql.MysqlEventParser.preDump(MysqlEventParser.java:86)
	at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$1.run(AbstractEventParser.java:176)
	at java.lang.Thread.run(Thread.java:748)
Caused by: java.io.IOException: caching_sha2_password Auth failed
	at com.alibaba.otter.canal.parse.driver.mysql.MysqlConnector.negotiate(MysqlConnector.java:260)
	at com.alibaba.otter.canal.parse.driver.mysql.MysqlConnector.connect(MysqlConnector.java:82)
	... 4 more
]

原因：
mysql版本为8.0,创建用户canal时默认的密码加密方式为caching_sha2_password，修改为mysql_native_password 即可
解决

  1. 查看canal-deployer自己所配置的数据库用户名
     cat /opt/canal/canal-deployer/conf/example/instance.properties 
......
 # username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=Canal@2021
canal.instance.connectionCharset = UTF-8
......

2.mysql修改

mysql -u root -p
use mysql;
select host, user, authentication_string, plugin from user;
+-----------+------------------+------------------------------------------------------------------------+-----------------------+
| host      | user             | authentication_string                                                  | plugin                |
+-----------+------------------+------------------------------------------------------------------------+-----------------------+
| %         | canal            | $A$005$ lHEV,d=
                                                sC)~oHtEw9QVDdn5xJUGrbsI85EH30/vaIFAygRyZ38w0Sz5 | caching_sha2_password |
| %         | root             | *C432B98D4B9892F9998F0B6ECBCEC94936308E2A                              | mysql_native_password |
| localhost | mysql.infoschema | $A$005$THISISACOMBINATIONOFINVALIDSALTANDPASSWORDTHATMUSTNEVERBRBEUSED | caching_sha2_password |
| localhost | mysql.session    | $A$005$THISISACOMBINATIONOFINVALIDSALTANDPASSWORDTHATMUSTNEVERBRBEUSED | caching_sha2_password |
| localhost | mysql.sys        | $A$005$THISISACOMBINATIONOFINVALIDSALTANDPASSWORDTHATMUSTNEVERBRBEUSED | caching_sha2_password |
| localhost | root             | *C432B98D4B9892F9998F0B6ECBCEC94936308E2A                              | mysql_native_password |
+-----------+------------------+------------------------------------------------------------------------+-----------------------+
ALTER USER 'canal'@'%' IDENTIFIED WITH mysql_native_password BY 'Canal@2021';
FLUSH PRIVILEGES;
lorogy
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
canal同步mysql
12-12
canal同步mysql,基于springboot2.0.6,使用undertow容器，可直接运行。
基于Canal实现MySQL 8.0 数据库数据同步
qw_6918966011的博客
08-18 432
1、只有canal-adapter成功启动并正确连接canal-deployer后，canal-deployer才会读取binlog信息。2、canal-adapter启动以后会出现127.0.0.1：3306/canal_manage连接失败信息，该信息是因为我们没有安装启动前端页面所致，可以忽略，不影响数据同步。1、查看 /usr/local/canal/canal-deployer/bin 文件夹下，是否存在.pid的文件。安装canal deployer和canal adapter。
使用Canal实现MySQL主从同步
最新发布
qq_42108331的博客
04-27 1641
使用Canal实现MySQL主从同步
MySQL 数据同步——canal
堂哥码财的博客
09-22 902
1、Canal简介 使用阿里的开源工具canal，实现监听MySQL数据库变化，并推送到：Kafka、RabbitMQ、ElasticSeach或其他中间平台。 canal 1.1.4版本，迎来最重要的WebUI能力，引入canal-admin工程，支持面向WebUI的canal动态管理能力，支持配置、任务、日志等在线白屏运维能力 github地址： https://github.com/alibaba/canal Canal Kafka RocketMQ QuickStart https://gith
基于canal实现mysql(mariadb)与redis的主从同步
weixin_40606441的博客
04-07 3565
    在数据需要频繁的使用场景之下，使用redis获取数据可以大大提高软件使用效率，如何实现mysql等关系型数据库和redis数据实时同步显得尤为关键，实现数据同步的方式有以下几种：    1. 代码的方式控制，但是这种方式缺点是需要写入数据库的同时，也要向redis中写数，造成代码冗余和业务领域编程人员无法专注与业务逻辑。    2. 配置mybatis拦截器，逻辑上是可行的，但是要考虑到只...
基于阿里巴巴canal产品完成Mysql主从数据同步
小时候快乐很简单
02-22 735
基于阿里巴巴canal产品完成数据库主从之间数据同步
canal实现mysql到ES数据实时同步
07-11
Canal是一款由阿里巴巴开源的数据库增量日志抽取工具，它能够监听MySQL的数据变更，然后将这些变更实时地同步到其他系统，如Elasticsearch。在本篇中，我们将深入探讨如何利用Canal实现这一功能。 首先，我们要了解...
基于Canal的MySQL与Elasticsearch实时同步方案设计源码
04-09
MySQL与Elasticsearch实时同步方案 - ...该项目为用户提供了一个基于Canal的MySQL与Elasticsearch实时同步方案，支持增量同步和全量同步，通过界面交互和功能模块，为用户提供了一个高效、易用的实时数据同步解决方案。
使用canal增量同步mysql数据库信息
10-26
使用 Canal 增量同步 MySQL 数据库信息 Canal 是一个基于 MySQL 二进制日志的高性能数据同步系统，广泛用于阿里巴巴集团（包括 https://www.taobao.com），以提供可靠的低延迟增量数据管道。 Canal 广泛应用于大...
mysql同步 canal1.1.5
10-11
canal1.1.5包。包括canal.adapter-1.1.5.tar.gz，canal.adapter-1.1.5-SNAPSHOT.tar.gz，canal.admin-1.1.5.tar.gz，canal.deployer-1.1.5.tar.gz，canal.example-1.1.5.tar.gz，canal-canal-1.1.5.zip，client-...
canal_mysql_elasticsearch_sync：基于canal的mysql和elasticsearch实时同步方案，支持增量同步和全量同步
02-04
canal是阿里巴巴mysql数据库binlog的增量订阅和消费组件。 工作原理 全量 暴露的Http接口（接口定义见 ），待调用后开启后台线程，通过主键分批同步指定数据库中数据到Elasticsearch 读取数据库会加读锁主键必须为...
MySql 配置主从同步
A13257629056的博客
07-28 902
docker 容器配置mysql主从同步
canal-1.1.5+mysql8+kafka安装部署
QYmufeng的博客
06-22 678
环境： centos7 canal-1.1.5 mysql-8.0.2 kafka-2.1.0+cdh6.2.1 1. 简介： canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库 志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。 基于.
Canal实现主备数据库的数据同步（python）
qq_41100991的博客
06-30 1203
简介 canal主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费，其业务包括以下几点： 1、数据库架构 2、数据库实时备份 3、索引编制和实时维护（分散索引，倒排索引等） 4、业务缓存刷新 5、带业务逻辑的增量数据处理 原理 以下是MySql的主备原理 主要步骤为： 1、MySQL master将数据记录到二进制日志事件中，可以通过显示binlog事件进行查看 2、MySQL slave将master的二进制日志事件复制到它的中继日志（中继日志） 3、MySQL slave初始化中继日
Canal—增量同步数据组件
S_ZaiJiangHu的博客
08-27 784
canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费Canal是基于Mysql二进制的高性能数据同步系统,Canal在阿里巴巴集团中被广泛使用,以提供可靠的低延迟增量数据管道（白话文:其实就是根据mysql的biglog日志,进行增量同步数据）.........
分析Canal如何支持MySQL主从同步
TheOne的博客
07-23 1689
本文分析Canal如何模拟MySQL主从同步协议，并分析Binlog结构 首先，Canal把自己伪造成一个slave，向Master注册自己的信息，这样Master才会向Canal发送Binlog信息。
Canal实现数据同步笔记
qq_15740267的博客
09-17 263
文章目录Canal实现mysql主从同步1. Canal安装2. SpringBoot整合Canal-客户端mysql同步到ES, Canal实现mysql主从同步 1. Canal安装 主库Mysql打开binlog, 从库要求数据库名称和表名称,表结构与主库一致 mysql添加用户权限,可以远程访问的用户权限 安装Canal-阿里的组件 安装在你要同步的主库的系统下 编辑Canal配置文件 /config/example/instance.properties 配置文件
8.MySQL主从同步
行走的皮卡丘
09-01 362
MySQL主从同步
MySQL主从同步，及Canal实时数据库同步
向着高亮的地方
10-19 2162
1.简介 Linux下MySQL数据库的主从同步用来实现读写分离。主数据库进行数据的插入，删除与更新；从数据库专门用来查询操作，缓解数据库的压力。让运行海量数据的时候无论是从速度还是效率上都大大提高，Mysql的主从复制至少是需要两个Mysql的服务，当然Mysql的服务是可以分布在不同的服务器上，也可以在一台服务器上启动多个服务。 2.主从同步原理 Mysql服务器之间的主从同步是基于二进制日志机制，主服务器使用二进制日志来记录数据库的变动情况，从服务器通过读取和执行该日志文件来...
canal简介.ppt
02-24
Canal是一个由阿里巴巴开源的数据库增量数据同步工具，它的名称来源于英文单词“canal”，意为水道或管道，象征着它在数据库和其它存储应用之间起到数据传输的桥梁作用。Canal的主要功能是解析MySQL的增量日志...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值