数据同步方案

由于实现系统中要增加搜索引擎,故此想到了用elasticsearch搜索服务框架来实现,但是对于系统中的业务要求,系统服务需要存入关系型数据库,且已经存储大量数据在数据库中,因此涉及到数据同步到elasticsearch(以下简称ES)。

ES是一套独立的restful搜索服务框架,所有搜索数据单独存储在ES中,并进行分词、索引等,所以需要单独的数据导入到ES系统中。

因此想到了一下数据同步的方案(说的不对,请指教):

   首先数据同步就是将来源数据(数据库,文件,内存等等)进行备份(备份删除)到目标存储中。

1.数据源------管道(logstash)------- 目标存储

     该方案通用型强,但是对于来源服务器会造成增加查询压力,耗费性能,另外数据的实时性备份难以保证

2.数据 双写: 在进行数据写入数据源时,同时写入备份库中

    该方案耦合性较大,且所有涉及到新建和跟新数据的地方都需要执行双写程序,而且双写的成功性成为了该方案的限制。

3.通过数据源的跟新日志信息来实现同步备份。

    该方案算是比较好的一种解决方案,通过统计日志来实现同步备份,既减少了来源服务的压力,也能较快的对更新数据做出响应。但是实现较为复杂。

4.通过监控数据源的增删改查(curd)来触发不同的动作,进行数据的备份。

    该方案数据一种触发机制,但是对于该方案的具体实现,需要更加了解数据来源的的底层实现机制,不太适合为仅仅实现同步数据而去做另外一件事(有点背道而驰的感觉),另外监控和触动更需要队列来去维持该功能的实现,实现难度较大。

综上所述:

   方案1和方案3的实施性存在可能,考虑各自优缺点进行方案的具体实施。

 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值