![](https://img-blog.csdnimg.cn/20190927151132530.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据实时同步框架
文章平均质量分 73
数据实时同步框架
十二同学啊
这个作者很懒,什么都没留下…
展开
-
Canal 学习笔记
canal 介绍阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了同步杭州和美国异地机房的需求,从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务。canal是用java开发的基于数据库增量日志解析,提供增量数据订阅&消费的中间件。目前,canal主要支持了MySQL的binlog解析,解析完成后才利用canal client来处理获得的相关数据。(数据库同步需要阿里的otter中间原创 2021-07-23 15:48:30 · 868 阅读 · 0 评论 -
Flume 安装笔记
Flume官网地址http://flume.apache.org/文档查看地址http://flume.apache.org/FlumeUserGuide.html下载地址http://archive.apache.org/dist/flume/安装部署1.将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下apache-flume-1.9.0-bin.tar.gz2.解压apache-flume-1.9.0-bin.tar.gz原创 2021-11-30 19:38:42 · 114 阅读 · 0 评论 -
Maxwell 学习笔记
Maxwell 介绍Maxwell 是由美国Zendesk开源,用Java编写的MySQL实时抓取软件。 实时读取MySQL二进制日志Binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。官网地址:http://maxwells-daemon.io/https://github.com/zendesk/maxwellMaxwell工作原理2.1MySQL主从复制过程原创 2021-07-13 16:41:43 · 621 阅读 · 0 评论