logstash同步mysql到ES 数据不一致解决方案

最新推荐文章于 2024-02-24 08:51:50 发布
最新推荐文章于 2024-02-24 08:51:50 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： spring-cloud-alibaba 文章标签： mysql elasticsearch 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41183828/article/details/123005635
版权
当通过Logstash从MySQL同步数据到Elasticsearch时，MySQL中数据的删除不会同步删除ES中的对应记录，导致数据不一致。对于一致性要求不高的场景，可以使用MQ消息队列实现。若要求高一致性，如电商项目，建议在MySQL成功删除后，额外执行删除ES中的数据操作。提供了一个针对此问题的解决方案。
摘要由CSDN通过智能技术生成

问题：通过logstash同步mysql数据到ES，mysql数据删除后，ES里面的数据不会删掉

这时候会导致ES和mysql数据不一致，如果对数据一致性要求不是那么强，可以用MQ消息队列做，如果对数据一致性要求很高，比如电商项目，这样会出现很大的问题，也可以在Mysql删除成功后，再删除ES里面的数据

下面是具体解决方案
在这里插入图片描述
参考链接：https://www.zhihu.com/question/351802336/answer/868380109

Mogul、姚瑶摇
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Logstash同步mysql一对多数据到ES（踩坑日记系列）
qq_28834355的博客
09-21 2777
场景： Logstash 、Kibana、ES版本：6.3.1。 使用Logstash从mysql同步用户和用户所有的宠物到ES中。 希望的格式： "register_name": "孟林洁", "id": 80469531, "pets": [ { "breed_name": "万能梗", "birthday": null, "pet_id": 999044, "name": "一只狗", "ima
mysql与es数据一致性_ElasticSearch 如何保证数据一致性,实时性
weixin_31119637的博客
01-28 7650
1. 当我们在说一致性，我们在说什么？在分布式环境下，一致性指的是多个数据副本是否能保持一致的特性。在一致性的条件下，系统在执行数据更新操作之后能够从一致性状态转移到另一个一致性状态。对系统的一个数据更新成功之后，如果所有用户都能够读取到最新的值，该系统就被认为具有强一致性。分布式系统不可能同时满足一致性(C：Consistency)、可用性(A：Availability)和分区容忍性(P：Par...
mysql数据，通过logstash同步到elasticsearch，数据丢失
随风的博客
12-20 2390
测试同学反馈，某业务商品数据查询不到，但数据库里面存在。 我们商品数据，从es中查询的。通过logstash，将mysql里面的数据同步到es中。 查看了下es中，该数据确实不存在。 重新构建index 然后做了一次全量数据同步，发现es中的数据总量低于mysql中数据源的数据总量。 原因： sql有问题。数据查询sql，未指定排序。使用的默认排序，库表使用的InnoDB引擎。 当数据发生del...
架构师成长记_第八周_22_logstash 数据同步
Beyond_Nothing
06-05 289
文章目录1. logstash 简介PS:2. logstash 安装2.1 (前提是安装好jdk)上传logstash, mysql驱动2.2 logstash 同步配置2.3 启动logstash 1. logstash 简介 Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。 Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”
数据库同步 Elasticsearch 后数据不一致，怎么办？
铭毅天下Elasticsearch
04-18 1942
1、实战线上问题Q1：Logstash 同步 postgreSQL 到 Elasticsearch 数据不一致。在使用 Logstash 从 pg 库中将一张表导入到 ES 中时，发现 ES 中的数据量和 PG 库中的这张表的数据量存在较大差距。如何快速比对哪些数据没有插入？导入过程中，Logstash 日志没有异常。PG 中这张表有 7600W。Q2：mq 异步双写数据库、es 的方案中，如何保...
logstash同步mysql到elasticsearch
02-17
对于 "logstash同步mysql到elasticsearch" 的任务，我们会在 Logstash 配置文件中设置相应的输入和输出插件。以下是一个基本的配置示例： ```ruby input { jdbc { # MySQL 连接配置 jdbc_connection_string => ...
MySQL 与 Elasticsearch 数据不对称问题解决办法
09-09
在整合MySQL和Elasticsearch的过程中，常常会遇到数据同步不一致的问题，这主要是由于数据库的更新、删除操作未被及时反映到搜索引擎中导致的。针对这种情况，我们可以采取一系列策略来解决这种不对称问题。 首先，...
用python简单实现mysql数据同步到ElasticSearch的教程
09-09
在本教程中，我们将探讨如何使用Python来实现实时或定时将MySQL数据库的数据同步到ElasticSearch。这对于那些需要实时数据分析或快速搜索的应用场景非常有用。以下是一个简化的步骤和关键知识点： 1. **背景与需求*...
Elasticsearch+MySQL数据同步示例
06-08
在本示例中，Logstash被用来作为数据同步的中间件，负责从MySQL数据库中读取数据，并将数据推送到Elasticsearch中。 5. JDBC和Elasticsearch的logstash-input-jdbc插件 JDBC（Java Database Connectivity）是一个...
spring-cloud模块spring-boot微服务 mysql数据同步到elasticsearch 实时同步
08-25
"mysql数据同步到elasticsearch 实时同步"这部分涉及到数据的实时迁移和同步。MySQL是一种广泛使用的开源关系型数据库，而Elasticsearch则是一个高性能、分布式、全文搜索引擎，常用于大数据分析和实时搜索场景。将...
通过logstash实现mysql与es的双向数据同步
upward
04-20 3519
通过logstash实现mysql与es的双向数据同步
ELK技术栈系列- Logstash(六) LogStash+MySQL+Elasticsearch 实现数据增量导入（双写一 致）
奥迪的博客
10-15 604
LogStash+MySQL+Elasticsearch 实现数据增量导入（双写一 致） 原有系统中，如果使用了缓存应用，全文搜索服务等额外数据存储，则在代码实现中，要保证双写一致，即写数据库的同时，把数据的变量同步到其他存储中。 如果使用 LogStash，则可以实现数据的增量导入。 思路：写数据到数据库，LogStash 监听数据库中数据的变化，把增量数据读取，并保存到 ES 中。 1 环境准备 1.1 上传数据库驱动 LogStash 本身不提供数据库驱动，需要使用者提供数据库的驱动包，且
通过Logstash实现mysql数据定时增量同步到ES
弹指天下
06-12 9205
很多时候，在项目初期都是仅采用mysql数据库作为业务数据库，但是随着数据的增长，当单表的数据超过千万级后，在怎么对查询SQL语句进行优化性能都不理想。这种情况下，我们就可以考虑通过ES来实现项目的读写分离：写操作对Mysql库进行操作，读操作采用ES。那么我们应该如何保证ES和Mysql的数据同步呢？本文给大家介绍通过Logstash实现mysql数据定时增量同步到ES。...
【Elasticsearch专栏 14】深入探索：Elasticsearch使用Logstash的日期过滤器删除旧数据
最新发布
weixin_40736233的博客
02-24 1583
使用Logstash的日期过滤器可以有效删除Elasticsearch中的旧数据，释放存储空间并提高集群性能。通过配置Logstash，可以指定索引模式、筛选时间戳早于特定阈值的文档，并在输出阶段删除这些旧数据。执行配置时，需确保Logstash与Elasticsearch连接正常，并监控日志以确保操作安全。定期执行此操作可确保旧数据不会过多积累。总之，Logstash的日期过滤器提供了一种简单而高效的方法，帮助管理和优化Elasticsearch中的数据。
logstash同步mysql到es丢失_MYSQL logstash 同步数据到es的几种方案对比以及每种方案数据丢失原因分析。...
weixin_39936134的博客
01-27 2433
MYSQL logstash 同步增量数据到ES最近一段时间，在使用mysql通过logstash-jdbc同步数据到es,但是总是会有一定程度数据丢失。logstash-jdbc无非是通过sql遍历数据表的所有数据，然后同步到es。对于表里面的所有字段都需要查出来然后同步到es中去。本地测试数据表结构如下: CREATETABLE`user`(`id`bigint(20)NOTNU...
Logstash数据同步
Qynwang的博客
04-22 3683
2. 在 /usr/local/logstash-7.6.2/ 下创建文件夹 sync/，将数据库驱动 mysql-connector-java-5.1.41.jar 包上传到 /usr/local/logstash-7.6.2/sync/ 下，将其 放入 /usr/local/logstash-7.6.2/sync/didiok-items.sql 文件中。先上传到服务器 /home/software/ 下，然后解压，并将解压后的文件夹移动到 /usr/local/ 下。5. 启动 logstash。
Elasticsearch入门笔记（Logstash数据同步）
KeePCoding
04-27 798
Elasticsearch 整合 SrpingBoot 引入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> <version>2.2.2.RELEASE</version> </dependency> 设置
logstash同步mysql数据到Elasticsearch实战,主要实现删除
Giggle1994的博客
12-15 4549
一.前言 之前网上看了很多文章，说mysql同步数据到Elasticsearch只能做增量同步，即只能新增（add）或者修改（update），不支持删除（delete）操作。所以一般的做法是使用逻辑删除，查询时带上逻辑删除字段，然后使用定时器定时去物理删除状态为删除的数据。最近刚好应用，一开始也是采用逻辑删除的做法，但是我的sql语句关联了4张表，每张表的逻辑删除状态有deleted（删除状态）、status（禁用启用状态）两个，一共就是4*2=8个逻辑删除字段，查询ES时需带上8个字段，...
淘宝太细了：mysql 和 es 的5个一致性方案，你知道吗？
架构师尼恩
05-31 5147
数据一致性的方案，是非常常见的面试题。以上的5大方案，如果大家能对答如流，如数家珍，基本上 面试官会被你 震惊到、吸引到。最终，让面试官爱到 “不能自已、口水直流”。offer， 也就来了。学习过程中，如果有啥问题，大家可以来 找 40岁老架构师尼恩交流。本文题目以及参考答案，收入咱们的 《尼恩Java面试宝典》V70版本
mysql与elasticsearch数据一致性
07-27
另外，还可以借鉴其他小伙伴遇到的问题和方案，例如Mysql和ES数据一致性问题及方案，可以参考他们的解决方案来保证数据的一致性。\[2\]还有一种方案是使用kafka、maxwell、logstash、elasticsearch等工具来实现数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值