canal
文章平均质量分 93
abothli
拥有五年的开发工作经验,曾从事过开发,分析,算法,人工智能,机器学习,运维的相关开发工作。
展开
-
实时抽取mysql的数据工具----canal(一)
1、准备:github:https://github.com/alibaba/canal里面有包括canal的文档,server端 client端的 例子 源码包等等。2、canal概述:canal是应阿里巴巴存在杭州和美国的双机房部署,存在跨机房同步的业务需求而提出的。早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主...原创 2018-11-29 14:47:49 · 2487 阅读 · 0 评论 -
canal的搭建以及操作
一、环境介绍canal是阿里开源的中间件,主要用于同步mysql数据库变更。具体参见:https://github.com/alibaba/canal/releases搭建环境:vmware centos7 部署mysql和canalwindows开发canal client,自动捕获mysql数据库变更二、Centos安装Mysql1、尝试用yum安装mysqlwg...原创 2018-11-29 14:50:29 · 2940 阅读 · 0 评论 -
canal报错com.alibaba.druid.sql.parser.ParserException: syntax error, error in :'XX') …
1 问题使用canal 1.0.25,启动canal服务端时或更新数据库数据时,canal服务端报错。报错如下:com.alibaba.druid.sql.parser.ParserException: syntax error, error in :'XX') …2 分析引起这个问题的原因是创建表的SQL语句中有“)”。根本原因是canal依赖的druid版本的问题。3 解决措...原创 2018-11-29 14:51:39 · 11955 阅读 · 0 评论 -
canal实时抽取mysql数据发送到kafka
基本说明canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有:kafka: https://github.com/apache/kafka RocketMQ : https://github.com/apache/rocketmq 环境版本操作系统:CentOS release 6.6 (Fina...原创 2018-12-06 10:50:48 · 11916 阅读 · 5 评论 -
实时抽取mysql的binlog日志到kafka的详细配置方法
完美使用canal实时抽取binlog日志到kafka的详细配置# 第一步 数据库my.ini参数 设置binlog_format=ROW# 第二步 数据库赋权CREATE USER canal IDENTIFIED BY 'canal';GRANT SELECT, SHOW VIEW, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ...原创 2018-12-21 15:11:37 · 4227 阅读 · 0 评论 -
binlog的详细介绍
写在前面的话1、推荐用mixed,默认使用statement,基于上下文 set session/global binlog_format=mixed;2、二进制日记录了数据库执行更改的操作,如Insert,Update,Delete等。不包括Select等不影响数据库记录的操作3、MySQL记录的日志有三种模式:STATEMENT、ROW、MIXED4、二进制主要的功能有:复制...原创 2018-12-27 14:35:42 · 3667 阅读 · 0 评论 -
canal配置文件参数解释
一、properties配置文件properties配置分为两部分:canal.properties (系统根配置文件) instance.properties (instance级别的配置文件,每个instance一份)canal.properties介绍: canal配置主要分为两部分定义:1. instance列表定义 (列出当前server上有多少个instance...原创 2018-12-18 17:30:56 · 5192 阅读 · 0 评论