canal单机环境搭建（Linux）

目录

介绍：

一、安装准备

二、安装配置

三、验证安装

---

介绍：

Canal 是用 java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。

目前，Canal 主要支持了 MySQL 的 Binlog 解析，解析完成后才利用 Canal Client 来处理

获得的相关数据。（数据库同步需要阿里的 Otter 中间件，基于 Canal）。

常见场景：

常见场景 1 ：更新缓存

常见场景 2 ：抓取业务数据新增变化表，用于制作拉链表。

常见场景3：抓取业务表的新增变化数据，用于制作实时统计

一、安装准备

1.1下载安装包

官网地址如下：

Releases · alibaba/canal · GitHub

选择想要安装的版本

二、安装配置

2.1上传安装包

2.2解压

#canal解压后是散的，解压的时候需要将canal指定
mkdir canal

进入安装包的目录执行：

#解压到/training/canal
tar -zvxf canal.deployer-1.1.4.tar.gz -C /training/canal

2.3修改canal.properties

进入canal的conf

vi canal.properties

修改：canal.serverMode和canal.mq.servers

#把这两个位置修改成以下这样
canal.serverMode = kafka
canal.mq.servers = hadoop01:9092,hadoop02:9092,hadoop03:9093

 2.4修改instance.properties

进入canal/conf/example，

vi instance.properties

 修改以下内容：

#配置 MySQL 服务器地址
canal.instance.master.address=hadoop01:3306

#配置连接 MySQL 的用户名和密码
canal.instance.dbUsername=gmall
canal.instance.dbPassword=Zj_123456

#修改 Kafka 的主题以及分区数
canal.mq.topic=test_db

#注释canal.mq.partition=0
#canal.mq.partition=0

#取消注释canal.mq.partitionsNum=3，且数值位3
canal.mq.partitionsNum=3

注：hadoop01是我的主机名，3306是端口号；

gmall是我MySQL的用户名，Zj_123456是密码；

kafka的主题名为test_db;分区参数为1。

设置主题等等操作参考：

kafka的基本操作（命令行操作）_一个人的牛牛的博客-CSDN博客_kafka操作

安装kafka参考：kafka单机和集群（全分布）的安装部署过程_一个人的牛牛的博客-CSDN博客_kafka部署

三、验证安装

3.1启动

 bin/startup.sh

3.2jps查看进程

 看到 CanalLauncher 表示启动成功，同时会创建 test_db 主题

3.3kafka 

查看当前服务器中的所有topic（在kafka目录下）
kafka-topics.sh --zookeeper hadoop01:2181 --list