canal连接不到mysql_canal-同步数据常见问题及最新部署搭建流程(mysql同步到mysql)...

一、目录

Ⅰ  部署搭建

1.1 环境准备

1.2 配置调整

1.3 常见报错处理

Ⅱ  避坑指南

2.1 同步的中文乱码问题

2.2 字段大小写不自动区分的问题

2.3 Load canal adapter: rdb failed问题

1.1  部署搭建——环境准备

源数据库:mysql5.7(我自己用的是docker pull过来的版本)

目标输出数据库:mysql5.7(也是docker pull过来的)

docker pull mysql:5.7

canal.deployer-1.1.5-SNAPSHOT.tar.gz(服务端版本)

wget https://github.com/alibaba/canal/releases/download/canal-1.1.5-alpha-2/canal.deployer-1.1.5-SNAPSHOT.tar.gz

canal.adapter-1.1.5-SNAPSHOT.tar.gz(客户端版本)

wget https://github.com/alibaba/canal/releases/download/canal-1.1.5-alpha-2/canal.adapter-1.1.5-SNAPSHOT.tar.gz

canal下好后解压(需要自己创建目标文件夹,压缩包里不自带)

tar zxvf canal.adapter-1.1.5-SNAPSHOT.tar.gz -C /data/canal-adapter-1.5

tar zxvf canal.adapter-1.1.5-SNAPSHOT.tar.gz -C /data/canal-deployer-1.5

1.2  部署搭建——配置调整

① 源数据库调整

源数据库开启binlog,先拷出docker里的配置文件

docker cp mysql:./etc/mysql/mysql.conf.d/mysqld.cnf \

/data/mysql/mysqld.cnf

vim编辑配置文件

vim /data/mysql/mysqld.cnf

追加配置

[mysqld]

#binlog数据中包含server_id,标识该数据是由那个server同步过来的

server-id = 1

#mysql向文件名前缀添加数字后缀来按顺序创建二进制日志文件如mysql-binlog.000006

log-bin = /var/lib/mysql/mysql-bin

#选择基于行的日志记录方式

binlog_format = ROW

拷回docker里

docker cp /data/mysql/mysqld.cnf \ mysql:./etc/mysql/mysql.conf.d/mysqld.cnf

重启容器

docker restart mysql

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,以下是部署 Canal 和 RabbitMQ 的 Docker-Compose 文件: ```yaml version: '3' services: mysql: image: mysql:8.0.30 restart: always environment: MYSQL_ROOT_PASSWORD: <your_password> volumes: - ./mysql/conf:/etc/mysql - ./mysql/data:/var/lib/mysql ports: - "3306:3306" command: --default-authentication-plugin=mysql_native_password canal: image: canal/canal-server:1.1.5 restart: always environment: - canal.instance.mysql.slaveId=1234 - canal.instance.master.address=<mysql_host>:3306 - canal.instance.dbUsername=root - canal.instance.dbPassword=<your_password> - canal.instance.connectionCharset=UTF-8 - canal.instance.filter.regex=.*\\..* - canal.instance.tsdb.enable=true - canal.instance.gtidon=false - canal.instance.dump.filter=DruidDataSource ports: - "11111:11111" rabbitmq: image: rabbitmq:3.8-management-alpine restart: always environment: RABBITMQ_DEFAULT_USER: <your_username> RABBITMQ_DEFAULT_PASS: <your_password> ports: - "5672:5672" - "15672:15672" ``` 这里需要替换 `<your_password>`、`<mysql_host>`、`<your_username>` 和 `<your_password>` 为自己的 MySQL root 密码、MySQL 主机地址、RabbitMQ 用户名和密码。 接下来,你需要在 MySQL 中创建一个用户并授予相应权限,以便 Canal 可以访问并同步数据: ```sql CREATE USER 'canal'@'%' IDENTIFIED BY '<your_password>'; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; FLUSH PRIVILEGES; ``` 最后,修改 Canal 配置文件,将数据同步到 RabbitMQ: ```yaml name: example rabbitmq: enabled: true host: localhost:5672 virtualHost: / username: <your_username> password: <your_password> exchange: canal-exchange exchangeType: fanout queue: canal-queue routingKey: canal-routing-key ``` 这里需要替换 `<your_username>` 和 `<your_password>` 为自己的 RabbitMQ 用户名和密码。 现在,你可以使用以下命令启动所有服务: ``` docker-compose up -d ``` Canal 将会自动同步 MySQL 数据到 RabbitMQ 中。你可以通过 RabbitMQ 管理界面查看同步数据

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值