Canal笔记

原创 2015年11月19日 21:29:05

Canal使用

什么是Canal

简单来说Canal是用于读取binlog日志的工具(太简单了)。
如果需要对数据做同步,可以使用canal。

安装Canal

    准备工作
binlog:开通binlog日志,以及canal用户
python
[mysqld]
log-bin=mysql-bin #添加这一行就ok
binlog-format=ROW #选择row模式
server_id=1 #配置mysql replaction需要定义,不能和canal的slaveId重复

设置canal权限

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

安装canal

wget https://github.com/alibaba/canal/releases/download/canal-1.0.17/canal.deployer-1.0.17.tar.gz  --下载
mkdir /tmp/canal --创建目录
tar zxvf canal.deployer-$version.tar.gz  -C /tmp/canal  --解压

修改配置文件

    vi conf/example/instance.properties
    ## mysql serverId
    canal.instance.mysql.slaveId = 1234 ->这个id随便起。不能和my_sql的server_id重复
    # position info,需要改成自己的数据库信息
    canal.instance.master.address = 127.0.0.1:3306  
    canal.instance.master.journal.name =   
    canal.instance.master.position =   ->其实position,不设置则从当前点开始查询
    canal.instance.master.timestamp = 

    #canal.instance.standby.address = 
    #canal.instance.standby.journal.name =
    #canal.instance.standby.position =  
    #canal.instance.standby.timestamp = 

    # username/password,需要改成自己的数据库信息
    canal.instance.dbUsername = canal  
    canal.instance.dbPassword = canal
    canal.instance.defaultDatabaseName =  
    canal.instance.connectionCharset = UTF-8

    # table regex
    canal.instance.filter.regex = .*\\..*   ->正则表达式,可以设置过滤条件,可以只查某个表的数据

启动Canal

        sh bin/startup.sh

错误处理

启动canal时,有时候会报一些问题,查看日志,关于server_id的问题,发生在mysql没有设置server_id
有时候mySql重启之后,会出现startposition的问题,当前的positon已经是最后的positon。这种情况删除节点”example”之后,即可。如果还不行,重新安装一遍。

搭建: canal部署与实例运行

1、准备: github:https://github.com/alibaba/canal 里面有包括server端 client端的 例子
  • hackerwin7
  • hackerwin7
  • 2014年07月18日 12:46
  • 42376

Canal+Otter - Canal篇(1)

Canal是阿里开源产品之一,是用java开发的基于数据库增量日志解析,提供增量数据订阅&消费的中间件。目前,Canal主要支持了MySQL的binlog解析。 为何要解析binlog: binlo...
  • zhxdick
  • zhxdick
  • 2016年03月08日 12:20
  • 10243

canal部署与实例运行

1、准备: github:https://github.com/alibaba/canal 里面有包括canal的文档,server端 client端的 例子 源码包等等。 2、ca...
  • tswisdom
  • tswisdom
  • 2014年11月25日 11:31
  • 1878

canal部署与实例运行

1、安装包下载 https://github.com/alibaba/canal/releases 2、部署canal-server (1)开启mysql的binlog功能,并配置binlog模式...
  • huguoping830623
  • huguoping830623
  • 2016年01月18日 17:02
  • 2228

Canal快速开始

几点说明:(mysql初始化) a. canal的原理是基于mysql binlog技术,所以这里一定需要开启mysql的binlog写入功能,建议配置binlog模式为row. [mysqld]...
  • hyx1990
  • hyx1990
  • 2016年09月12日 21:52
  • 1060

Canal详解

原文地址:http://agapple.iteye.com/blog/1796633    背景    早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务...
  • tanga842428
  • tanga842428
  • 2017年03月01日 15:18
  • 1971

canal 启动分析

在对canal 一切准备妥当后,然后 sh startup.sh 后,流程图如下: 应该是这样的啦! 那源码是怎么得呢? 这个是我源码整理的理解!勿喷! 大伙如果一开始开源码的话,如果...
  • SUHUAGUO1111
  • SUHUAGUO1111
  • 2016年05月03日 23:59
  • 828

canal 数据行解析错误

maven使用canal构建的项目,包数据行解析错误:如下 Caused by: com.alibaba.otter.canal.parse.exception.CanalParseExceptio...
  • qq_39419395
  • qq_39419395
  • 2017年07月17日 10:22
  • 389

mysql在centos上的安装以及canal数据同步配置

整合多个文档及自己的demo ---------------------------------- mysql在centos上的安装 -----------------------------...
  • a925907195
  • a925907195
  • 2015年05月30日 19:49
  • 5471

canal部署与实例运行

1、安装包下载 https://github.com/alibaba/canal/releases 2、部署canal-server (1)开启mysql的binlog功能,并配置binlog模式...
  • huguoping830623
  • huguoping830623
  • 2016年01月18日 17:02
  • 2228
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Canal笔记
举报原因:
原因补充:

(最多只允许输入30个字)