canal同步mysql数据变化到kafka（centos部署）

最新推荐文章于 2024-09-04 20:48:11 发布
最新推荐文章于 2024-09-04 20:48:11 发布
阅读量970 收藏 3
点赞数
分类专栏： 后端技术 文章标签： kafka mysql centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/douyh/article/details/125426450
版权

第一步：环境准备

  • 系统CentOS7.9：查看CentOS版本: cat /etc/redhat-release；其中机器内存至少2个G内存，因为canal启动的默认最大内存是2G。
  • jdk版本jdk1.8： 安装步骤请见：[https://blog.csdn.net/u010132847/article/details/117002124?spm=1001.2014.3001.5501][https_blog.csdn.net_u010132847_article_details_117002124_spm_1001.2014.3001.5501]
  • 部署mysql8版本的机器ip： 192.168.187.132，mysql8版本安装请见：[https://blog.csdn.net/u010132847/article/details/116905080?spm=1001.2014.3001.5501][https_blog.csdn.net_u010132847_article_details_116905080_spm_1001.2014.3001.5501]
  • 安装canal+kafka的机器ip： 192.168.187.131

第二步：mysql先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式。

  • mysql8版本默认是开启binlog功能的，这一步实际可以忽略。

pic_66783517.png

第三步：数据库新建一个canal账号并赋予其数据库同步的权限。

  • 新建用户：create user ‘canal’@‘%’ identified by ‘Canal123!’;

pic_8b4941bc.png

  • 赋予用户canal的SELECT、REPLICATION SLAVE和 REPLICATION CLIENT权限：

pic_c24861d2.png

  • “mysql_native_password ”的特殊处理：mysql8默认用sha2这个plugin来进行密码加密，如果用户密码生产时没用这个插件，客户端接入的时候会报“caching_sha2_password Auth failed”的错误，如下错误显示。
2020-05-06 17:19:24.944 [destination = example , address = /192.168.187.132:3306 , EventParser] ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destination:example[com.alibaba.otter.canal.parse.exception.CanalParseException: java.io.IOException: connect /192.168.187.132:3306 failure
Caused by: java.io.IOException: connect /127.0.0.1:3306 failure
        at com.alibaba.otter.canal.parse.driver.mysql.MysqlConnector.connect(MysqlConnector.java:83)
        at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.connect(MysqlConnection.java:89)
        at com.alibaba.otter.canal.parse.inbound.mysql.MysqlEventParser.preDump(MysqlEventParser.java:86)
        at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$3.run(AbstractEventParser.java:183)
        at java.lang.Thread.run(Thread.java:748)
Caused by: java.io.IOException: caching_sha2_password Auth failed
        at com.alibaba.otter.canal.parse.driver.mysql.MysqlConnector.negotiate(MysqlConnector.java:257)
        at com.alibaba.otter.canal.parse.driver.mysql.MysqlConnector.connect(MysqlConnector.java:80)
        ... 4 more
]
  • 因此需要使用关键字“mysql_native_password ”插件赋值账户密码，如下：

表达式如：alter user ‘canal’@‘%’ identified with mysql_native_password by ‘Canal123!’;

pic_bd3f41ea.png

第四步：安装部署kafka(包括zookeeper)

  • 下载安装包：wget [https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz][https_mirrors.tuna.tsinghua.edu.cn_apache_kafka_2.8.0_kafka_2.13-2.8.0.tgz]
  • 解压安装包：tar -zxvf kafka_2.13-2.8.0.tgz

pic_9670c960.png

  • 在/opt/kafka_2.13-2.8.0/bin目录可以看见这些启动脚本(稍微注意就发现里面还包含zookeeper脚本，是的，kafka安装包里包含了zookeeper服务部署，不用另外下载部署，直接在这里启动)：

pic_a1088a15.png

  • 在/opt/kafka_2.13-2.8.0/config目录可以看见服务的配置：

pic_64452e2e.png

  • 先启动zookeeper(配置文件zookeeper.properties无需改动)：

命令：bin/zookeeper-server-start.sh -daemon config/zookeeper.properties &

pic_9275bf17.png

备注：这里“-daemon”表示守护进程启动。Daemon进程也就是守护进程，linux大多数的服务进程都是通过守护进程实现的。比如0号进程(调度进程) ，1号进程(init进程)。从其名字守护看出其一般就是机器启动就运行，关机才停止。所以其应该不会受到终端的影响。同时其实在后台运行的。

  • 再启动kafka（配置文件config/server.properties需要改动，如下）:
zookeeper.connect=192.168.187.131:2181
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://localhost:9092 #本机ip
# ...

之后启动执行命令：bin/kafka-server-start.sh -daemon config/server.properties &

pic_36d7f57f.png

停止kafka服务执行命令：bin/kafka-server-stop.sh

第五步：安装部署canal

  • 下载canal: wget [https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz][https_github.com_alibaba_canal_releases_download_canal-1.1.5_canal.deployer-1.1.5.tar.gz]
  • 解压canal（canal安装包解压放置新建canal文件解压）: tar -zxvf [canal.deployer-1.1.5.tar.gz][https_github.com_alibaba_canal_releases_download_canal-1.1.5_canal.deployer-1.1.5.tar.gz]

pic_90e475c0.png

  • 解压后的目录解释如下：

pic_a7d052c6.png

- bin    # 运维脚本文件
- conf   # 配置文件目录
  canal_local.properties  # canal本地配置，一般不需要改动
  canal.properties        # canal服务配置
  logback.xml             # logback日志配置
  metrics                 # 度量统计配置
  spring                  # spring-实例配置，主要和binlog位置计算、一些策略配置相关，可以在canal.properties选用其中的任意一个配置文件
  example                 # 实例配置文件夹，一般认为单个数据库对应一个独立的实例配置文件夹
    instance.properties   # 实例配置，一般指单个数据库的配置
- lib    # 服务依赖包
- logs   # 日志文件输出目录
- plugin # 支持的插件目录
  connector.kafka-1.1.5-jar-with-dependencies.jar     #kafka依赖包
  connector.rabbitmq-1.1.5-jar-with-dependencies.jar  #rabbitmq依赖包
  connector.rocketmq-1.1.5-jar-with-dependencies.jar  #rocketmq依赖包
  • 修改配置文件：

配置文件config/canal.properties找到“canal.serverMode”的值改成“kafka”，其他无需改动。

pic_a784088d.png

配置文件config/exmaple/instance.properties：

找到“canal.instance.master.address”，将其值改成安装mysql服务器的ip及端口号。

找到“canal.instance.dbUsername”和“canal.instance.dbPassword”的值改成之前新建的mysql数据库备份账号canal及其密码，其他无需改动。

pic_1c3190ff.png

  • 启动canal服务：找到/opt/kafka/bin目录，执行脚本startup.sh。

pic_0ee602f5.png

第六步：测试数据同步功能

  • 使用其他有创建数据库、表权限的账号在mysql服务创建一个数据库并创建一张表。

pic_17889585.png

  • 我们注意到config/example/instanct.properties有个“example”的topic配置，这是kafka测试使用topic，已经存在无需创建，我们拿这个topic来测试，如下图：

pic_0ebe4f66.png

  • 在kafka安装目录目录/opt/kafka_2.13-2.8.0，执行kafka的topic的消费者日志，发现有创建对应表的消费日志。

命令：bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --from-beginning --topic example

pic_5b9d3a09.png

  • 再插入一条数据看下是否有对应消息日志：

pic_33ffc81b.png

pic_32cf4d9f.png

Canal同步Mysql的binlog日志到Kafka
yigewangzhe的博客
11-30 800
1、canal的工作原理 1、在我们对mysql进行增删改的操作（查询除外），Master主库会将我们的操作记录写到二进制日志（binary log）中 2、Slave从库向Master主库发送dump协议，将Master主库的binary log events拷贝到它的中继日志（relay log） 3、Slava读取中继日志数据，将改变的数据同步到自己的数据库中 4、canal的工作原理就很简单，它是将自己伪装成mysql的Slave节点，从Master主库同步改变的数据到自己的库中（如下图所示）
Canal监控MySQL数据到Kafka详细步骤(jdk+zookeeper+kafka+canal+mysql)
m0_73257876的博客
08-22 1579
如果上面你的kafka消费者能传来你对该表的增删改，那么恭喜你。你已经完成了以上环境的搭建，给自己鼓鼓掌吧。由于我自己才学没多久，在搭建的过程中遇到好多问题，踩过好多坑，所以把搭建步骤尽可能详细地记录下来，当作自己学习的一个记录，也希望能够帮到有需要的人。如果以上步骤中有什么问题或需要补充的话，也希望各位大佬不吝赐教。最后，祝大家工作顺利，心想事成！
使用Canal同步MySQL数据到Kafka
yqqの博客
01-04 2868
Canal架构原理 1.Canal Server结构 server 代表一个 canal 运行实例，对应于一个 jvm。 instance 对应于一个数据队列 （1个 canal server 对应 1…n 个 instance ) instance 下的子模块 a.eventParser: 数据源接入，模拟 slave 协议和 master 进行交互，协议解析 b.eventSink: Parser 和 Store 链接器，进行数据过滤，加工，分发的工作 c.eventStore: 数据存储 meta
【大数据】Canal实现MySQL数据增量同步至Kafka：原理与配置解析
最新发布
一个不断前行的程序者
09-04 1509
Canal是一款开源的数据库增量日志解析组件，主要用于监控数据库数据变更，并将变更数据同步到其他存储介质。Canal通过模拟MySQL Slave的交互协议，实时获取数据库的增量更新，从而实现数据同步。本文将介绍如何使用Canal将MySQL的数据通过监听Binlog，增量发送到Kafka。Binlog（Binary Log）是MySQL数据库的二进制日志，记录了所有对数据库数据的修改操作。开启Binlog后，MySQL会实时将数据变更记录到Binlog文件中。
canal mysql 数据汇总_canal实时同步mysql表数据到Kafka
weixin_33954023的博客
01-21 211
准备对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下[mysqld]log-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复注意...
canal同步mysql数据到kafka， kafka消费存入clickhouse
weixin_38738049的博客
02-13 990
环境winmysql5.7如果不想看步骤可以直接下载我打包好的文件，修改相关数据库配置就行。
Canal系列2-Canal同步到Kafka
只是甲的博客
03-25 3591
文章目录一. MySQL的准备1.1 binlog格式1.2 创建库表1.3 赋权限二. Canal安装及配置2.1 Canal下载及安装https://github.com/alibaba/canal/releases2.2 修改 canal.properties 的配置2.3 修改 instance.properties2.4 启动 Canal2.5 看到 CanalLauncher 你表示启动成功，同时会创建 canal_test 主题2.6 启动 Kafka 消费客户端测试，查看消费情况2.7 向
Docker安装部署MySQL+Canal+Kafka+Camus+HIVE数据实时同步
是小南啊的博客
05-06 1806
因为公司业务需求要将mysql的数据实时同步到hive中，在网上找到一套可用的方案，即MySQL+Canal+Kafka+Camus+HIVE的数据流通方式，因为是首次搭建，所以暂时使用伪分布式的搭建方案。 一、安装docker 安装docker的教程网上一搜一大把,请参考： centos下docker安装教程 二、docker安装MySQL 安装教程网上也有很多，请参考: docker安装MySQL 1. 开启 Binlog 写入功能 安装完成后，要配置MySQL，开启binlog的写入功能,配置 b
【linux-centos】Canal和Kafka实现mysql的binlog
dadashitou的博客
06-03 1908
需要安装php-rdkafka扩展，安装方式：https://www.cnblogs.com/shixiangqian/p/14856009.html。tar -zxvf canal.deployer-1.1.4.tar.gz -C ./canal-1.1.4 解压到canal-1.1.4目录。canal.instance.mysql.slaveId=123 相当于从库节点id，不能和mysql的节点重复，必须是数字。canal_local.properties canal本地配置，一般不需要动。
基于Canal和Kafka实现MySQL的Binlog近实时同步
m0_67698950的博客
05-27 542
前提# 近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。 这篇文章简单介绍一下如何快速地搭建一套Canal相关的组件。 关于Canal# 简介# 下面的简介和下一
maxwell同步mysql_使用maxwell实时同步mysql数据到kafka
weixin_33655208的博客
02-07 378
一、软件环境：操作系统：CentOS release 6.5 (Final)java版本: jdk1.8zookeeper版本: zookeeper-3.4.11kafka 版本: kafka_2.11-1.1.0.tgzmaxwell版本：maxwell-1.16.0.tar.gz注意 ： 关闭所有机器的防火墙，同时注意启动可以相互telnet ip 端口二、环境部署1、安装jdkexport ...
Canal 监听 Mysql 自动写入 Kafka 并消费 配置 Windows 版
03-18
Canal 监听 Mysql 自动写入 Kafka 并消费 配置 Windows 版
canal同步数据至kafka
qq_38009397的博客
09-06 1428
canal同步数据至kafka
canal 1.1.5同步mysql到kafka
qq_16613311的博客
09-25 542
1.安装mysql 8 正常安装mysql之后，设置cana同步账号 CREATE USER canal IDENTIFIED BY 'QWqw12!@'; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; FLUSH PRIVILEGES; ALTER USER 'canal'@'%' IDENTIFIED WITH mysql_native_password BY 'QWqw12!@'; 设置my.cn
实时同步：使用 Canal 和 Kafka 解决 MySQL 与缓存的数据一致性问题
xaiobit_hl的博客
07-25 2077
由此可见，对数据库的每一个修改操作，都是对应固定格式的一个数据，所以可以监听对应的 topic 并针对 data 中的数据进行一个提取，得到一个 cacheKey，然后删除对应的缓存，使得下一次的查询去访问数据库，并同步缓存。canal 监控 binlog 日志，binlog 日志的传输默认使用 MySQL 的复制协议（基于 TCP/IP），执行修改操作：将 “如何学习Spring？”修改成 “如何学习Spring？将 canal 下 plugin 下的所有 jar 包拷贝到 lib 目录下。
Canal+Kafka实现Mysql数据同步
shadow_zed的博客
08-10 2026
译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。canal主要用途是基于 MySQL 数据库增量日志解析，并能提供增量数据订阅和消费，应用场景十分丰富。目前canal主要支持mysql数据库。
mysql增量同步kafka_通过canal实现把MySQL数据实时增量到kafka
weixin_39904587的博客
12-21 332
说明：我们有一个业务需要把mysql中一些表实时同步到大数据集群hbase上面，我们先通过sqoop把表中数据全量导入到hbase中，然后再通过canal定位的某个binlog的position，来实现增量同步，canal官网提供了java/go接口，直接写入到Kafka，然后通过sparkstreaming实时写入到hbase中一. 通过sqoop把mysql表中的数据全量导入到hbase中(需...
canal+kafka实现数据同步
精准搬砖
03-28 572
2、在我们的服务中去消费 byt-grid-data-sync 这个topic，拿到变动的数据，完成一些自定义的操作，根据变动的数据生成出我们需要的数据，然后去查询在服务中保存的配置，区分这个数据属于哪一条产线，根据查询到的产线和数据对gp数据库中保存的数据完成相应的变动。1、打开MySQL 的binlog，使用canal监听MySQL的的binlog日志，当数据发生变动的时候canal会将变动的数据发送到我们配置的Kafka的topic中。
canal同步mysql数据到kafka
06-28
### 回答1： 可以使用Canal来实现将MySQL数据同步到Kafka。Canal是阿里巴巴开源的一款基于MySQL数据库增量日志解析和同步的工具，可以实时捕获MySQL数据库的增量日志，解析日志内容，并将解析后的数据发送到Kafka等消息队列中。 具体实现步骤如下： 1. 安装Canal并配置MySQL数据源信息。 2. 配置Canal的Kafka输出端，包括Kafka的地址、topic等信息。 3. 启动Canal服务，并开启Kafka输出端。 4. 在MySQL数据库中进行数据操作，Canal会实时捕获增量日志并将解析后的数据发送到Kafka中。 通过以上步骤，就可以实现将MySQL数据同步到Kafka中。 ### 回答2： Canal是一个开源的MySQL数据库数据同步工具，可用于将MySQL数据库中的数据推送到Kafka等消息队列系统中。Canal具有简单易用和高效稳定等特点，可以实时地将MySQL的操作事件转换为消息发布到Kafka中，从而实现数据的传输和同步。 Canal的数据同步过程主要分为三个步骤：数据的抽取、数据的传输和数据的写入。在数据的抽取阶段，Canal会通过监听MySQL的binlog日志来实时获取数据库的更新操作事件。在数据的传输阶段，Canal会将获取到的数据转化为Kafka数据结构并将数据推送到Kafka中。在数据的写入阶段，Kafka消费者会接收到Canal推送过来的数据并将数据写入到目标数据库中。 Canal同步MySQL数据到Kafka具有以下优点： 1. 实时性好：Canal可以实时获取MySQL的binlog日志，因此同步数据的速度较快，数据可以实时同步到Kafka中，提高了数据同步的实时性。 2. 高效稳定：Canal具有高效稳定的数据同步能力，可以对MySQL的大量数据进行实时同步，同时Canal对复杂的数据类型和操作也具有很好的兼容性。 3. 低延迟：Canal同步MySQL数据到Kafka的过程中，除了Canal本身的处理时间外，数据传输和写入等步骤都可以实现实时同步，因此具有低延迟的特点。 4. 扩展性强：Canal支持插件机制，可以根据需要进行扩展和定制，支持多种不同的数据源和目标，也支持多线程和分布式部署等高级特性。 总之，Canal同步MySQL数据到Kafka是一种高效稳定、实时性好、低延迟、扩展性强的数据同步方案。在实际的数据同步应用中，可以根据具体情况选择适合自己的部署方式和应用场景，并结合其他工具和技术进行更加灵活高效的数据同步。 ### 回答3： Canal是阿里巴巴公司开发的一款基于binlog的增量数据同步工具，可以把MySQL数据库的数据变更同步到Kafka等消息队列或其他存储介质中。 Canal架构包括三个组件：Canal Server、Canal Client和Canal Adapter。 Canal Server是作为数据源的MySQL数据库的代理工具，负责解析MySQL的binlog日志，并将变更事件以JSON的形式发送给Canal Client。 Canal Client是Canal数据同步的传输逻辑，接受Canal Server解析出来的binlog事件，并将事件转化为适合Kafka等消息队列的消息格式。 Canal Adapter是Canal的一个插件式架构，根据业务需求，可以通过Adapter来将数据发送到Kafka或其他消息队列、ElasticSearch等存储介质中。 在使用Canal同步MySQL数据到Kafka时，需要配置Canal Server和Canal Client，其中Canal Server需要连接MySQL数据库，并开启Binlog日志功能。Canal Client需要连接Canal Server，接收MySQL数据库的变更事件，并将事件转换为对应的消息格式发送到Kafka中。 同时，需要根据业务需求配置Canal Adapter，将MySQL数据库的数据变更事件转化为Kafka消息队列的消息格式，并发送到Kafka中。 总之，Canal是一款可靠高效的增量数据同步工具，可以帮助企业快速实现数据的分布式同步和多数据源之间的数据交换。在实际应用中，可以结合其他开源工具，如Flink、Presto等，构建出一套全方位的数据处理和分析平台，实现数据的快速处理和洞察。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值