canal
文章平均质量分 86
lijie_cq
It's never too old to learn
展开
-
mysql换成mariaDB(为测试的一致性)
因为公司需要做mysql的实时同步,通过读取binlog的方式,线上的数据库用的mariaDB 10.2.x版本,虽然mariaDB是mysql的一个分支使用起来都一样,但是为了测试的完整性还是将一台测试机器安装了mariaDB。安装之前需要先卸载之前的myslq首先停止mysql:service mysqld stop查看mysql的安装包:rpm -qa|grep -i mysql然后卸载上面的原创 2017-12-27 15:57:14 · 2613 阅读 · 0 评论 -
canal的使用记录(binlog文件名字有乱码导致主备切换报错)
canal的安装在canal的github wiki上面很详细具体参见: canal的canal github wiki虽然wiki上面建议使用1.0.22版本,一看那个版本感觉太老了,还是用了最新的1.0.25 Release版本,其中1.0.22版本的binlog的日志名字和他的position等的元数据会存储为一个meta.dat文件放在你conf的instance目录下,比如官方的examp原创 2018-01-03 00:22:16 · 5721 阅读 · 3 评论 -
canal读取mysql的binlog实时同步数据到kudu的数据异构方案
现在准备做mysql实时同步数据到kudu,为以后的实时即席查询分析做数据支撑,kudu+impala速度还是挺快的。 因为实时性要求比较高,而且需要同步的时候对mysql的压力不能太大,不然会影响业务系统的稳定性。 介于上面的一些要求,我们选择采用阿里的canal读取mysql的binlog,对binlog解析后对kudu进行操作。因为canal只是模拟mysql的slave,通过主从复制的原创 2018-01-29 13:38:47 · 7244 阅读 · 2 评论