异库同步
为一个人走几座城
这个作者很懒,什么都没留下…
展开
-
MaxWell安装部署
在开始之前,我们还是需要先看一下Maxwell官网,对Maxwell有一个简单的了解。Maxwell通过canal解析binlog,并将其发送到Kafka,后续我们通过自己的业务逻辑,处理得到的binlog日志,就OK了。我之前在用的时候,是公司要实时同步业务库的数据到HBase中,然后实现一些实时的查询业务。如果有兴趣的朋友,可以看看canal的底层实现,在这里我就不多赘述了。首先我们需...原创 2018-07-07 22:14:46 · 6663 阅读 · 3 评论 -
自建Binlog订阅服务 —— Maxwell
1. 介绍Maxwell 是java语言编写的能够读取、解析MySQL binlog,将行更新以json格式发送到 Kafka、RabbitMQ、AWS Kinesis、Google Cloud Pub/Sub、文件,有了增量的数据流,可以想象的应用场景实在太多了,如ETL、维护缓存、收集表级别的dml指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案,等等。它还提供其它功能:...转载 2018-10-19 10:17:58 · 4992 阅读 · 0 评论