-
数据路由/分发:解决1:n (1个parser对应多个store的模式)
-
数据归并:解决n:1 (多个parser对应1个store)
-
数据加工:在进入store之前进行额外的处理,比如join
Maxwell
图片
canal 由Java开发,分为服务端和客户端,拥有众多的衍生应用,性能稳定,功能强大;canal 需要自己编写客户端来消费canal解析到的数据。(搜索公众号Java知音,回复“2021”,送你一份Java面试题宝典)
maxwell相对于canal的优势是使用简单,它直接将数据变更输出为json字符串,不需要再编写客户端。
Databus
Databus是一种低延迟变化捕获系统,已成为LinkedIn数据处理管道不可或缺的一部分。Databus解决了可靠捕获,流动和处理主要数据更改的基本要求。Databus提供以下功能:
-
源与消费者之间的隔离
-
保证按顺序和至少一次交付具有高可用性
-
从更改流中的任意时间点开始消耗,包括整个数据的完全引导功能。
-
分区消费
-
源一致性保存