cancl对接mysql安装及使用

最新推荐文章于 2024-05-21 18:06:25 发布
最新推荐文章于 2024-05-21 18:06:25 发布
阅读量7.6k 收藏 6
点赞数
分类专栏： 集群相关 数据库 mysql 文章标签： cancl linux mysql 分布式 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014439239/article/details/80435293
版权
数据库 同时被 3 个专栏收录
27 篇文章 0 订阅
订阅专栏
集群相关
16 篇文章 0 订阅
订阅专栏
mysql
6 篇文章 0 订阅
订阅专栏
1、环境准备
    （1）安装mysql，要求5.0版本以上,本环境中安装路径为/opt/mysql/。
    （2）安装环境jdk，要求1.7以上。
    （3）使用root用户启动mysql 
    >service mysqld start     //启动mysql
    >service mysqld status   //检查mysql启动状态
    （4）查看canal相关资料
        https://github.com/alibaba/canal
        里面有包括canal的文档，server端 client端的 例子 源码包等等。

2、cancl概述
    canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。
    早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部使用的同步，已经支持mysql5.x和oracle部分版本的日志解析。
    基于日志增量订阅&消费支持的业务：
        数据库镜像
        数据库实时备份
        多级索引 (卖家和买家各自分库索引)
        search build
        业务cache刷新
        价格变化等重要业务消息

        keyword：数据库同步，增量订阅&消费。

3、工作原理

    (1) mysql主备复制实现


从上层来看，复制分成三步：

  1. master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；
  2. slave将master的binary log events拷贝到它的中继日志(relay log)；
  3. slave重做中继日志中的事件，将改变反映它自己的数据。

（2）canal的工作原理：


原理相对比较简单：

  1. canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
  2. mysql master收到dump请求，开始推送binary log给slave(也就是canal)
  3. canal解析binary log对象(原始为byte流)
4、cancl部署

（1）开启mysql的binlog功能，并配置binlog模式为row。
    在my.cnf 加入如下：
    
    vi /etc/my.cnf
    log-bin=mysql-bin #添加这一行就ok  ，表示打开二进制日志功能。
    binlog-format=ROW #选择row模式  
    server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复。
（2）在mysql中 配置canal数据库管理用户，配置相应权限（replication权限） 
    CREATE USER canal IDENTIFIED BY 'canal';    
    GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';  
    -- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;  
    FLUSH PRIVILEGES;
（3）下载canal
    https://github.com/alibaba/canal/releases  
    解压到相应的文件夹下 
 >cd /opt/cancl/
 >tar -zxvf canal.deployer-1.0.26-SNAPSHOT.tar.gz -C /opt/cancl/
    修改配置 instance.properties

        vim canal/conf/example/instance.properties 

  
#################################################  
## mysql serverId  
#查看mysql的slaveId，需要修改成自己的真实的slaveId
canal.instance.mysql.slaveId = 1  
 
# position info，需要改成自己的数据库信息  
canal.instance.master.address = 127.0.0.1:3306   
canal.instance.master.journal.name =   
canal.instance.master.position =   
canal.instance.master.timestamp =   
 
#canal.instance.standby.address =   
#canal.instance.standby.journal.name =  
#canal.instance.standby.position =   
#canal.instance.standby.timestamp =   
 
# username/password，需要改成自己的数据库信息  
canal.instance.dbUsername = canal    
canal.instance.dbPassword = canal  
canal.instance.defaultDatabaseName = test  
canal.instance.connectionCharset = UTF-8  
 
# table regex  
canal.instance.filter.regex = .*\\..*  
 
#################################################
    然后cd到bin目录  启动和停止canal-server 
  >./startup.sh
    停止 
    >./stop.sh
    验证启动状态，查看log文件
    >cat canal/log/canal/canal.log  
 2018-05-24 10:52:08.655 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.  
 2018-05-24 10:52:08.854 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[192.168.137.131:11111]  
 2018-05-24 10:52:09.209 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ......

    上述日志信息显示启动canal成功


5、运行canal实例

    IDE ：intellij IEDA

    系统：Windows10

    mvn ：Apache Maven 3.5.3

    （1）建立实例maven工程

在win系统打开cmd，cd到对应的workspace目录中，创建mvn工程。

mvn archetype:create -DgroupId=com.alibaba.otter -DartifactId=canal.sample

这里直接回车，选择maven版本为1.1


（2）使用IDE打开创建好的mvn工程，添加pom.xml依赖：

  <dependency>  
        <groupId>com.alibaba.otter</groupId>  
        <artifactId>canal.client</artifactId>  
        <version>1.0.12</version>  
  </dependency>

（3）更新依赖 mvn install

 （4）创建ClientSample.java文件进行连接linux对应机器和对应的IP

package com.alibaba.otter;

import java.net.InetSocketAddress;
import java.util.List;

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.common.utils.AddressUtils;
import com.alibaba.otter.canal.protocol.Message;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.CanalEntry.RowData;

public class ClientSample {
    private static final String  HOST_ip = "192.168.137.131";
    public static void main(String args[]) {
        // 创建链接
        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(HOST_ip,
                11111), "example", "canal", "canal");
        int batchSize = 1000;
        int emptyCount = 0;
        try {
            connector.connect();
            connector.subscribe(".*\\..*");
            connector.rollback();
            int totalEmptyCount = 120;
            while (emptyCount < totalEmptyCount) {
                Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据
                long batchId = message.getId();
                int size = message.getEntries().size();
                if (batchId == -1 || size == 0) {
                    emptyCount++;
                    System.out.println("empty count : " + emptyCount);
                    try {
                        Thread.sleep(1000);
                    } catch (InterruptedException e) {
                    }
                } else {
                    emptyCount = 0;
                    // System.out.printf("message[batchId=%s,size=%s] \n", batchId, size);
                    printEntry(message.getEntries());
                }

                connector.ack(batchId); // 提交确认
                // connector.rollback(batchId); // 处理失败, 回滚数据
            }

            System.out.println("empty too many times, exit");
        } finally {
            connector.disconnect();
        }
    }

    private static void printEntry(List<Entry> entrys) {
        for (Entry entry : entrys) {
            if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {
                continue;
            }

            RowChange rowChage = null;
            try {
                rowChage = RowChange.parseFrom(entry.getStoreValue());
            } catch (Exception e) {
                throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),
                        e);
            }

            EventType eventType = rowChage.getEventType();
            System.out.println(String.format("================> binlog[%s:%s] , name[%s,%s] , eventType : %s",
                    entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
                    entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
                    eventType));

            for (RowData rowData : rowChage.getRowDatasList()) {
                if (eventType == EventType.DELETE) {
                    printColumn(rowData.getAfterColumnsList());
                } else if (eventType == EventType.INSERT) {
                    printColumn(rowData.getAfterColumnsList());
                } else {
                    System.out.println("-------> before");
                    printColumn(rowData.getBeforeColumnsList());
                    System.out.println("-------> after");
                    printColumn(rowData.getAfterColumnsList());
                }
            }
        }
    }

    private static void printColumn(List<Column> columns) {
        for (Column column : columns) {
            System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());
        }
    }
}
（5）运行java实例，启动后看到控制端信息： 
empty count : 1  
empty count : 2  
empty count : 3  
empty count : 4
（6）在mysql中操作一张表，触发数据库变更： 
mysql> insert into test5 values(5,6);
mysql> insert into test5 values(8,9);
mysql> update test5 set a=19 where a=5;

（7）查看启动的后台控制端口，已经有相应信息打印：

================> binlog[replicalog.000044:1689] , name[test,test5] , eventType : UPDATE
-------> before
a : 5    update=false
b : 6    update=false
-------> after
a : 19    update=true
b : 6    update=false




Havi155
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ABB变频器调试手册
11-15
SAVE键保存更改或CANCL键取消更改。 8. EXIT键返回上级菜单。 #### 三、特殊设置 - **跳线设置**：J1往右拨ON，设置为4-20mA电流模式。 - **已修改参数列表**：通过CHANGEDPAR参数组查看所有已修改的参数。 - **...
Cancl介绍
qq_29860591的博客
09-04 7391
需求 在现代的系统开发中, 为了提高搜索效率 , 以及搜索的精准度, 会大量的使用 redis ,memcache 等 nosql 系统的数据库 , 以及 solr , elasticsearch 类似的全文检索服务; 那么这个时候, 就又有一个问题需要我们来考虑, 就是数据同步的问题, 如何将实时变化的数据库中的数据同步到 solr 的索引库中或者 redis 中呢 ? 1 数据同步...
使用cancl工具同步数据库和redis（基于TCP）
cai_bird11的博客
09-21 794
使用canal同步mysql和redis
SpringBoot整合Canal实现数据同步
最新发布
MMF博客园
05-21 431
SpringBoot整合Canal实现数据同步
springboot集成canal,实现缓存实时刷新，驼峰问题
qq_35705176的博客
11-14 1145
springboot集成阿里canal，缓存实时刷新，数据库下划线跟实体驼峰解决
canal部署、原理和使用介绍
记录各种Bug解决案例及日常学习内容
06-25 766
阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canal client 用来处理获得的相关数据。（数据库同步需要阿里的otter中间件，基于canal）。这里我们可以简
高可用 Canal集群（ 秒懂 + 史上最全）
架构师尼恩
12-23 1万+
canal server 仅仅是保姆角色，真正完成 解析 binlog日志、 binlog日志过滤、 binlog日志转储、位点元数据管理等等 核心功能，是由canal instance 角色完成。Canal Instance 的架构图如下图所示：Canal 中数据的同步是由 CanalInstance 组件负责，一个 Canal Server 实例中可以创建多个 CanalInstance 实例。
Canal简介
qq_41794285的博客
11-29 992
简介 Canal：译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。 基于日志增量订阅和消费的业务包括 数据库镜像 数据...
SpringBoot利用cancl监听mysql的binlog日志通过kafja实时同步数据到es
weixin_38071106的博客
03-04 7675
canal官网：https://github.com/alibaba/canal/wiki gitlab：https://github.com/alibaba/canal/wiki/QuickStart 下载地址：https://github.com/alibaba/canal/releases 阿里巴巴开源的 Canal 会将自己伪装成 MySQL 从节点（Slave），并从主节点（M...
kafka-topics.sh --describe结果解释
Be Simple
10-11 1万+
&gt; bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic     Topic:my-replicated-topic    PartitionCount:1    ReplicationFactor:3    Configs:     Topic: my-replicat...
canal的安装部署
天蓬元帅的博客
12-25 1465
https://github.com/alibaba/canal 第一步：首先开启mysql数据库的binglog权限，怎么开呢，找到my.cnf，里面加入下面的语句 [mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1 # 配置 MySQL replaction 需要定义，不要和 c...
canal安装部署
bbirdsky
11-25 6770
1、准备： github:https://github.com/alibaba/canal 里面有包括canal的文档，server端 client端的 例子 源码包等等。 2、canal概述： canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期
阿里Canal部署安装小白教程
热门推荐
qq_32254003的博客
08-07 2万+
1.下载canal安装包： 地址：https://github.com/alibaba/canal/releases 2.将下载好的安装包复制到主机 3.使用命令进行安装 进入安装目录：cd /home/hadoop/test/lele 创建canal存放目录：mkdir canal 进入创建好的目录：cd canal 解压安装包：tar -zxvf ../canal.dep
Mysql cancel分析
qq_40210804的博客
12-22 4037
最近看了下mysql jdbc的cancel功能的源码，做个笔记记录下 mysql-connector-java-8.0.18.jar Mysql有个CancelQueryTask(CancelQueryTaskImpl)定时任务器，继承了TimerTask 在ClientPreparedStatement.executeInternal方法里面会通过this.startQueryTimer()方法去生成这个CancelQueryTask CancelQueryTask这个对象是用于将执行中的SQL取消掉
canal实时同步oracle,canal反向同步数仓方案
weixin_42129113的博客
04-09 4108
canalCanal是阿里巴巴开源的一款主要用于数据库同步业务的项目，基于数据库的日志解析，获取增量变更进行同步，由此衍生出了Canal增量订阅&消费的实时数据库同步。目前阿里内部版本已经支持mysql和oracle部分版本的日志解析，当前的canal开源版本支持mysql 5.7及以下的版本。基本原理：canal模拟mysql slave的交互协议，伪装自己为mysql slave，向m...
oracle里面的terminate,pg_cancel_backend() 与pg_terminate_backend()
weixin_39627699的博客
04-04 414
先看下两个函数的官方解释： pg_cancel_backend() 取消后台操作，回滚未提交事物 pg_terminate_backend() 中断session，回滚未提交事物 这里和oracle类似kill session的操作是pg_terminate_backend() pg_cancel_backend() 举例： session A: postgres=# creat先看下两个函数的官...
探索ORACLE不完全恢复之--基于cancel的恢复 第二篇
小白编程
07-31 148
探索ORACLE不完全恢复之--基于cancel的恢复 第二篇 作者：吴伟龙 Name：Prodence Woo QQ：286507175 msn:hapy-wuweilong@hotmail.com 基于cancel 的不一致性恢复（归档丢失） 第二篇 主要适用于：基于Cancel的不完全恢复适用场景：Recover时，所需的某个归档日志损坏，或主机断电...
使用Canal实现MySQL的数据实时同步
zk86547462的博客
10-03 601
第一步：开启MySQL的binlog日志 (1)修改/etc/my.cnf，在里面添加如下内容 log-bin=/var/lib/mysql/mysql-bin 【binlog 日志存放路径】 binlog-format=ROW 【日志中会记录成每⼀一⾏行行数据被修改的形式】 server_id=1 【指定当前机器的服务 ID(如果是集群，不能重复)】 (2)配置完毕之后，登陆MySQL，输入如下命令： show variables like '%log_bin%'; (3)配置目标mysql上的ca
binlog监听工具-canal
diepiao6729的博客
05-04 259
官网 https://github.com/alibaba/canal/wiki 转载于:https://www.cnblogs.com/DengGao/p/canal.html
cancl.adapter 支持redis
05-08
cancl.adapter是一个Ruby语言的HTTP请求重试库，它允许用户通过配置指定请求的重试次数和时间间隔。而redis是一个基于内存的高效Key-Value数据库，可以提供快速的读写能力，因此可以用作cancl.adapter的后备存储或者队列。 cancl.adapter默认使用内存存储请求和响应数据，并且对重试次数和时间间隔进行了设置。但是，当需要应对高并发和大规模的请求时，内存存储可能会出现一些问题，这时可以考虑使用redis作为cancl.adapter的后备存储或者队列，以提高性能和可靠性。 使用redis作为后备存储，可以将请求和响应数据保存在redis中，而不是内存中。这样可以大大降低内存的使用量，并且在应用程序重启后，可以从redis中恢复之前的请求和响应数据，避免数据丢失。而使用redis作为队列，则可以将请求发送到redis队列中，等待处理。使用队列可以让应用程序异步处理请求，从而提高并发能力，并减少请求超时和错误。 总之，cancl.adapter支持redis作为后备存储或者队列，可以大大提高应用程序的性能和可靠性，特别是在面临高并发和大规模请求的情况下。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值