利用基于canal的go库来监听binlog日志
情景导入
每当线上的DB数据发生了更新,要同步到从库需要一定的时间。此外有些如报表数据还要落地到其他存储(如缓存)中去。如果把数据落地的逻辑写在业务层,一定层度上会造成系统的耦合。
查了资料,发现阿里有一款开源的数据同步神器canal,基于数据库增量日志解析,提供增量数据订阅&消费,不过是基于java实现的。在其文档中找到另一个Go版本的go-mysql,作用一样是监听binlog日志,接下来就普及一下该库的用法
下载安装踩的坑
库的地址是https://github.com/siddontang/go-mysql
看文档感觉好像直接go get一下就可以用的,然而并不是这么简单!!!该库还依赖了其他被墙下不了的包,所以你得逐个把其相关依赖的包go get下来。
至于需要什么依赖包,需要你按照文档的demo运行一下,终端的报错信息会把相关的依赖包信息打印出来的【主要是当时忘了把相关的依赖包名记了】。
其中一些需要被墙的包需要手动git clone一下,进入gopath的src目录:cd ~/go/src
,然后创建目录:mkdir -p golang.org/x/
,进入刚创建的目录:cd golang.org/x
,
克隆相关的git库:git clone https://github.com/golang/sys.git
和git clone https://github.com/golang/text.git
当你把依赖全部下载好之后,如果发生直接运行文档的demo会报错:canal dump mysql err: exit status 2:
,其原因是你的mysql还没开启binlog日志。解决手段如下:
(1)先进入mysql,确认binlog属性:show variables like '%log_bin%'
;如果 log_bin的value值为off,则未开启binlog
(2)退出mysql,去编辑my.cnf
文件,如果是ubantu,就编辑 vim /etc/mysql/mysql.conf.d/mysqld.cnf,在【mysqld】
配置添加
server_id = 1
log_bin = /var/log/mysql/mysql-bin.log
(3)重启mysql服务
(4)进入mysql 确认binlog开启没有:show variables like '%log_bin%';
API用法
package main
import (
"fmt"
"github.com/siddontang/go-mysql/canal"
"github.com/siddontang/go-mysql/mysql"
"github.com/siddontang/go-mysql/replication"
"os"
)
type MyEventHandler struct {
canal.DummyEventHandler
}
//监听数据记录
func (h *MyEventHandler) OnRow(ev *canal.RowsEvent) error{
//record := fmt.Sprintf("%s %v %v %v %s\n",e.Action,e.Rows,e.Header,e.Table,e.String())
//库名,表名,行为,数据记录
record := fmt.Sprintf("%v %v %s %v\n",ev