Canal

1.1 环境部署

1.1.1 mysql开启binlog模式

（1）查看当前mysql是否开启binlog模式。

SHOW VARIABLES LIKE '%log_bin%'

如果log_bin的值为OFF是未开启，为ON是已开启。

（2）修改/etc/my.cnf 需要开启binlog模式。

[mysqld]
log-bin=mysql-bin
binlog-format=ROW
server_id=1

修改完成之后，重启mysqld的服务。

(3) 进入mysql

mysql -h localhost -u root -p

（4）创建账号 用于测试使用

使用root账号创建用户并授予权限

create user canal@'%' IDENTIFIED by 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT,SUPER ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

1.2.2 canal服务端安装配置

（1）下载地址canal

https://github.com/alibaba/canal/releases/tag/canal-1.0.24

（2）下载之后 上传到linux系统中，解压缩到指定的目录/usr/local/canal

解压缩之后的目录结构如下：

（3）修改 exmaple下的实例配置

vi conf/example/instance.properties

修改如图所示的几个参数。

（3）指定读取位置

进入mysql中执行下面语句查看binlog所在位置

mysql> show master status;
显示如下:
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      120 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

如果file中binlog文件不为 mysql-bin.000001 可以重置mysql

mysql> reset master;

查看canal配置文件

vim /usr/local/canal/conf/example/meta.dat

找到对应的binlog信息更改一致即可

"journalName":"mysql-bin.000001","position":120,"

注意：如果不一致，可能导致以下错误

2019-06-17 19:35:20.918 [New I/O server worker #1-2] ERROR c.a.otter.canal.server.netty.handler.SessionHandler - something goes wrong with channel:[id: 0x7f2e9be3, /192.168.200.56:52225 => /192.168.200.128:11111], exception=java.io.IOException: Connection reset by peer

（4）启动服务：

[root@localhost canal]# ./bin/startup.sh

（5）查看日志：

cat /usr/local/canal/logs/canal/canal.log

这样就表示启动成功了。

1.2快速入门

我们这里使用的一个开源的项目，它实现了springboot与canal的集成。比原生的canal更加优雅。

https://github.com/chenqian56131/spring-boot-starter-canal

使用前需要将starter-canal安装到本地仓库。

我们可以参照它提供的canal-test，进行代码实现。

1.2.1依赖

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.4.RELEASE</version>
    </parent>

    <dependencies>
        <dependency>
            <groupId>com.xpand</groupId>
            <artifactId>starter-canal</artifactId>
            <version>0.0.1-SNAPSHOT</version>
        </dependency>
    </dependencies>

1.2.2启动类配置

加上EnableCanalClient注解即可

@SpringBootApplication
@EnableCanalClient //声明当前的服务是canal的客户端
public class CannalApplication {

    public static void main(String[] args) {
        SpringApplication.run(CannalApplication.class,args);
    }
}

配置

canal:
  client:
    instances:
      example:
        host: 192.168.200.128  #  cannal服务端的ip地址
        port: 11111 # cannal服务端的端口
        batchSize: 1000

1.2.3编写监听器

类上加@CanalEventListener注解

监听方法上加@ListenPoint(schema = “fengke_business”,table = “tb_ad”)

​ schema 指定数据库名

​ table 指定要监听的表

@CanalEventListener
public class CanalListener {

    /**
     *
     * @param eventType 当前操作数据库的类型
     * @param rowData 当前操作数据库的数据
     */
    @ListenPoint(schema = "fengke_business",table = "tb_ad")
    public void adUpdate(CanalEntry.EventType eventType, CanalEntry.RowData rowData){
        //System.out.println("tb_ad表数据变化了");
    }
}

1.3API讲解

使用debug查看两个方法的属性即可

eventType代表更新的类型是什么可以用来针对具体的操作做判断然后做不同的处理

rowData中的属性beforeColumns_包含了数据变化前的那条记录数据。

rowData中的属性afterColumns_包含了数据变化前的那条记录数据。

1.4配置

####1.4.1只监控某中数据库的操作

可以再ListenPoint注解上增加eventType来进行指定

@ListenPoint(schema = "xxx2", table = {"xxx"},eventType = CanalEntry.EventType.UPDATE )