databus
向着朝阳出发
用拼搏冲刺梦想!!
展开
-
databus概述
概述Databus 是 LinkedIn 开源的一款低延迟的分布式数据库同步系统(a source-agnostic distributed change data capture system),它提供可靠的数据捕获、流转和数据处理功能。针对这些功能,有以下几个特性:隔离性 (隔离数据源和消费端);高可用性 (保证有秩序的且至少一次数据传递);数据完整性 (在任意的时间点的数据变转载 2017-03-31 18:12:34 · 9390 阅读 · 0 评论 -
Databus Relays
概述Databus Relays主要负责以下两个工作:从databus源数据库中读取变化行,并序列化为事件流保存至内存中;接受客户端的请求,并将数据变化事件流返回给客户端。技术架构 Event Producer:用来读取数据库的变化事件,转化为AVRO类型并存储至内存中;Circular Buffer:Relay有一个或多个环形的缓冲池用来保存按递增转载 2017-03-31 18:14:18 · 2097 阅读 · 0 评论 -
Databus Clients
概述Databus Clients主要负责以下几个工作:通过Databus Relays restful 服务,检查新的数据变化事件,并处理业务逻辑(如同步数据、保存入缓存服务等);如果与relays的连接断开时间太长(SCN号差别大),会向bootstrap server发送一个查询请求;新的客户端向bootstrap server查询之后,切换到relays获取最近的数据变化事转载 2017-03-31 18:15:17 · 1504 阅读 · 0 评论