基础设施 mysql-5.7.17+canal.deployer-1.0.23
- mysql binlog的开启和配置
- 服务端的部署
- 客户端部署
binlog的开启和配置
主要是修改 mysql的配置文件 一般在 /etc/my.cnf 目录下面,添加以下内容:
log-bin=master-bin #产生binlog的前缀
log-bin-index=master-bin.index #产生binlog的样式 例如 master-bin-00001
binlog-format=ROW #binlog的格式,server只解析row格式的,务必!
server-id=1 #区分主从,多台mysql的serverid是要设置成不同的
重启mysql,使得mysql配置生效,进入mysql查看开启情况:
show binary logs; #会有master-bin.000001这种文件
show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW |
+---------------+-------+
show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin | ON |
+---------------+-------+
配置好会有以上的显示情况,若不出现则配置上出现问题
服务端的部署
下载canal.deployer-1.0.23的包,请下载最新版server端的包
国内下载会很慢,若想快点下载的话可以call me,我这儿有最新的包,canal的端口是 11111
接下来,解压这个包
tar -zxvf canal.deployer-1.0.23.tar.gz canal
修改配置文件:
vim canal/conf/example/instance.properties
参考配置:
#################################################
## mysql serverId
canal.instance.mysql.slaveId = 1234
# position info
canal.instance.master.address = 127.0.0.1:3306
canal.instance.master.journal.name =
canal.instance.master.position =
canal.instance.master.timestamp =
#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
# username/password
canal.instance.dbUsername = 你数据库的用户名
canal.instance.dbPassword = 你数据的密码
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8
# table regex
canal.instance.filter.regex = .*\\..*
# table black regex
canal.instance.filter.black.regex =
#################################################
开启server端,这里有个地方要注意,一般先重启mysql的服务再重启canal的服务端。canal主要是伪装成一个slave去拿mysql的binlog。cd 到bin的目录下开启
./startup.sh #开启
./stop.sh #关闭
查看日志 cd 到logs/canal目录下面
tail -f canal.log
看到一下内容服务就开启了
#start the canal server[ip:11111]
#the canal server is running now ......
远程访问可以 telnet ip 11111 查看端口情况
注意:在开启服务的时候检查你的11111端口是否被占用了
客户端(zues)的部署
开发工具:maven ,rpm
- 下载最新的代码,并且编译成包
make package
- cd 到target目录下,安装包
sudo rpm -ivh zues-1.0-SNAPSHOT[版本号].noarch.rpm --nodeps --force
- 安装客户端
sudo /homes/zues/bin/zues start_XXX #XXX目前对panda和dolphin有配置
- 查看日志
tail -f /homes/zues/logs/zues.log