数据库中同步数据到elastic search的方案比较

本文探讨了从数据库同步数据到Elasticsearch的五种方案:1) Logstash定时同步,存在时延问题;2) 实时同步双写,业务耦合严重;3) 异步双写借助MQ,降低耦合但增加复杂性;4) 使用Canal订阅binlog,实时同步但可能引发性能压力和数据丢失;5) 结合Canal和MQ,解决压力和丢失问题,但架构更复杂。文章还提到了不同MQ的选择和对Oracle数据同步的解决方案。
摘要由CSDN通过智能技术生成

#方案1,利用logstash定时向数据库读取数据然后写入到elastic search中

   架构:数据库+logstash+elastic search

   缺点:1)因为是定时读取数据库,存在一定的时延

         2)若同步时间间隔调的比较短,比如每秒定时同步一次数据,此时会增大业务数据库的压力

3)若一次同步的数据量比较大的话,网络传输成本会增大

   相关链接:https://www.cnblogs.com/csts/p/6120644.html

#为了解决时延的问题,采用同步双写方案,实时同步数据,于是引入方案2:

方案2:同步双写,即在业务应用系统写数据到数据库时,同时插入一条数据到elastic search中

   架构:业务应用+elastic search

   缺点:硬编码,强业务耦合,性能差等

#为了解决同步双写性能差的问题,那么引入mq来实现异步双写,于是引入方案3:

方案3:异步双写,即引入mq并开发一个数据同步系统,在业务系统应用(生产者)中每做一笔交易,然后将数据发送到mq,数据同步系统(消费者)订阅mq消息,

       完成数据同步到elastic search中

   架构:业务应用+mq+同步系统+elastic search

   缺点:1)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值