关系型数据库删除记录之后,如何同步到索引库ElasticSearch

利用logstash,可以很方便的全量或增量同步MySql表中的数据。

可是如果MySql表里删除了记录,就没有办法直接删除对应的索引信息了。

变通方法:

方法一:

在删除MySql表里的记录的时候,去删除对应的索引信息。

这种方式的话,可以通过MQ来通知索引管理服务,让后者来实现删除索引的操作,不会影响系统的删除操作的性能。

方法二:

在MySql的表结构里增加状态标志字段is_deleted来标识记录的状态。

在删除表记录的时候,不直接删除记录,而是更改状态标识。这样该记录就会同步到ES索引中。

同时,查找语句需要增加过滤条件,过滤掉is_deleted为true的记录

可以新增一个功能,定时的批删is_deleted为true的MySql记录和ES索引记录。

缺点:更改了MySql的表结构、MySql和ES需要增加查询条件、LogStash增加了一些不必要的同步等

方法三:

使用阿里巴巴的开源框架canal。

官方地址 https://github.com/alibaba/canal

canal [kə'næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。

基于日志增量订阅和消费的业务包括

  • 数据库镜像
  • 数据库实时备份
  • 索引构建和实时维护(拆分异构索引、倒排索引等)
  • 业务 cache 刷新
  • 带业务逻辑的增量数据处理

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

canal 工作原理

  • canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议
  • MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal )
  • canal 解析 binary log 对象(原始为 byte 流)

方法四:

新建一张删除记录表,里面记录表名、id、删除时间等信息 。在删除MySql表里的记录的时候,将删除记录保存到这张表里。

新建一个定时任务,根据删除记录删除对应的索引信息。

 

参考文章:

ES 译文之使用 Logstash 实现关系型数据库与 ElasticSearch 之间的数据同步 https://zhuanlan.zhihu.com/p/71629420

 

 

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值