实习踩坑之路：ElasticSearch双写数据不同步？不实时？怎么优化？

最新推荐文章于 2023-11-04 18:37:29 发布
置顶 最新推荐文章于 2023-11-04 18:37:29 发布
阅读量2.3k 收藏 1
点赞数 4
分类专栏： 实习踩坑之路 ES 文章标签： elasticsearch 大数据 big data ES查询效率优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22155255/article/details/121953909
版权

问题复现

咳咳，说实话，这个挺尴尬的，那时前两天刚写的接口，我还特意写过一篇关于它的坑，没想到还是有隐藏的bug，废话不多说上图
在这里插入图片描述
这是上次的那个接口功能，就是查询未读会话有几个，不为0的话，会显示小红点
听起来很简单，但是今天就遇到了bug
问题是这样的，我们操作的时候，快速把所有会话点了一遍，然后给某个会话设置为了未读状态，发现就对不上了，显示还都是0，理应有未读数1的，因为我刚把这个(某个)会话设置为了未读状态，推了一条系统消息的（xxx设置了未读）,但是从ES查询的结果却是没有未读会话，这个第一时间肯定能想到是数据没有同步过来，那么这样怎么优化呢？

思路

1.前端多一定的延迟，不要点开那个会话窗口的时候立马掉这个查询未读会话的接口，让他停个100ms行不？
2.后端ES的双写看看是不是异步去刷数据的，能不能改成同步
3.这个接口其实只需要查询有没有未读会话就行了，不需要吧未读的数量全部查询出来

方案一：前端延迟，但是人家前端说已经延迟了500ms都不行，现在延迟1200ms数据正常，这个方案不行，这个必须要后端介入优化了
方案二：看了我们的同步数据的线程，如果是异步多线程跑的，尽量改为同步多线程去刷新。
方案三：方案三其实就跟数据库的查询很类似，就是Limit 1，限制我查到一条符合数据的结果我就中断ES的查询，直接返回，然后这个接口也不返回具体数量了，直接返回true/false就行，有未读就返回true，没有未读会话就返回false
这个方案ES的实现思路就是ES的分页，给ES的from参数设置为0，size设置为1，也就是说从第0页0条开始，查询到符合1条第数据直接返回，不再进行其他的查询操作，等同于MySQL的Limit 1

方案四：我们在进行ESQuery查询的时候，可以利用ConstantScore参数，将我们的Query查询变为Filtering，第一可以避免算分的步骤，第二可以利用Filtering的缓存进行性能上的优化

会写代码的花城
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Elasticsearch主分片与副本数据不一致引发产线事故
勤于笔记，成于点滴。
08-05 1351
ES 数据进入会先写入buffer缓冲区、translog文件，默认1s后会将数据refresh 文件系统cache,刷入内存后我们才能查询出该数据。实际业务开发中应该二次验证数据，以防止并发时候取不出数据造成意想不到的产线事故。......
Elasticsearch集群搭建并实现数据同步
Candy_Sir的博客
03-23 1275
Elasticsearch集群搭建并实现数据同步 集群搭建 先从单机版开始吧。单机版的搭建详见这篇博客，个人觉得写的很不错。 至于集群，那就把单机版复制三份，改改配置，依次启动就好了。 2.Logstash实现mysql同步数据到elasticsearch Logstash集成详见这篇文章 关键配置 input { jdbc { #数据库连接地址 jdbc_co...
项目中ES使用---并使用mq解决业务上ES与数据库的数据不一致的问题
weixin_46643875的博客
05-14 4186
概述： 1、当数据量过大时，将数据存放到es中，增加查询的效率，降低和数据库的交互。【一次性导入】 2、使用mq同步es数据，避免DB中数据和Es中的不一致。【消息队列持续同步db中的数据】 3、注意springboot和es的版本问题，不然项目一定起不来【elk6.几不支持springboot2.3点几的版本】 我用的是：springboot-2.2.10.RELEASE；es-6.4版本 关键导包 <!--集成es--> <dependency>
使用canal及canalAdapter，在elasticSearch新增用户密码后，canalAdapter出现无法同步elasticSearch问题
VEclipses的博客
03-22 317
自己摸索搞一下canalAdapter同步elasticSearch时踩坑频频，在给elasticSearch新增用户密码功能后，出现了canalAdapter无法同步elasticSearch的问题。一度有把虚拟机恢复快照使elasticSearch回到没有用户密码的状态的想法，最后自己想怎样也要突破一下，自己看看配置文件能不能解决，最后添加了一句配置就成功了。，就能同步elasticSearch了，如果不行的话说明你的配置还有其他问题。把此行的“#”注释符删除，修改用户名及密码，后重启。
es同步mysql方案_ES数据同步方案
weixin_30624835的博客
02-04 3821
当业务量上升后，由于mysql对全文检索或模糊查询支持的能力不强，在系统中查询的地方，往往会出现慢sql等，拖累系统其他模块，造成性能低下。随着ES使用普及率的升高，ES是mysql的一个有效补充。我们可以将数据发送到搜索引擎(如ES)上，由搜索引擎来提供专业的服务。接下来，就结合工作中实际用到的场景，对数据从mysql到es的同步进行一些分析。在实践中我总结出了以下几种方式。第1种：同步双写这是...
es不是实时更新的
荣山的博客
09-03 882
es不是实时更新的
在资源有限情况下解决生产环境下ES集群之间数据同步的问题
weixin_42862818的博客
12-07 1130
在资源有限情况下解决生产环境下ES集群之间数据同步的问题 先简单介绍一下我我司生产环境下的ES集群情况，一共四个集群，集群之间逻辑网络隔离。业务人员平时查询数据，需要登录每个集群的Kibana挨个进行查询。现在的需求能不能在一界面可以完成所有就集群数据的查询。 版本一：跨集群搜索 这种场景首先想到就是CCS（跨集群搜索），但是目前集群互相ping不通，首先解决这个问题，方法就是，修改四个集群每个节点的IP地址（修改子网掩码），使他们在同一网段，能够ping通。然后在kibana的界面直接配置CCS。步骤 k
Elasticsearch 的全量同步和增量同步
CSDN_RLZ的博客
03-25 4965
（1）全量同步 什么是全量同步：将一个mysql的整个表的所有数据都同步到es中 常用插件是logstash-input-jdbc，logstash通过sql语句分区间对数据进行查询，然后输出到es进行实现。 logstash-input-jdbc同步插件原理： 作用：使用 logstash-input-jdbc 插件读取 mysql 的数据 （2）增量同步（canal） 什么是增量同步：业务场景需要实时性较高并对要求****对数据库的压力比较小。 logstash不再适合增量同步，logstash是基于s
Elasticsearch 节点关闭流程分析
Focus on Lakehouse
07-09 941
来源：https://www.easyice.cn/archives/280当为 es 集群更新配置，升级版本时，需要滚动升级：关闭数据平衡，依次 kill 节点。但是 ...
Elasticsearch与MySQL同步数据
weixin_41056313的博客
09-15 494
使用Logstash-jdbc-input插件可以将MySQL中的数据同步到数据库。 注意：同步时，只有增加和修改数据库的数据时会同步到Elasticsearch，删除记录时不会将Elasticsearch中的纪录删除。所以，在应用程序中，需要删除数据库中的纪录后，使用API清除ES中的缓存数据。 1.创建数据库表 create table person (id int primary key auto_increment, name varchar(10), age int, email varch
es查询主分片副本分片造成es每次查询结果不一致问题
qq_35640866的博客
06-16 828
java的调用接口：client.prepareSearch(“index”).setPreference(“_primary”)。指定_primary 或者_primary_first(线上优先选择这个) 防止每次在主分片和从分片轮训结果不一致。elasticsearch可以使用preference参数来指定分片查询的优先级。
ElasticSearch的数据同步问题怎么处理？
qq_45021598的博客
08-16 1841
第1种：同步双写 概述：最简单的一种，在将数据写到mysql时，同时将数据写到ES，实现数据的双写。 优点：业务逻辑简单。 缺点： 硬编码(es的编码); 业务耦合性高; 性能较差(mysql+es会降低系统性能); 存在双写失败丢数据风险(如果数据有强一致性的要求，那就必须加上事务，性能又会降低) (ES系统不可用、应用系统和ES之间的网络故障、应用系统重启，导致系统来不及写入ES等); 第2种：异步双写（MQ方式） 概述：针对第一种同步双写的性能和数据丢失问题，可以考虑引入MQ。(引入MQ
ES写入过程和写入原理调优及如何保证数据的写一致性
Elastic开源社区
05-31 5889
文章目录1、ES 的写入过程1.1 ES支持四种对文档的数据写操作1.2 写流程1.3 写一致性策略2、ES 的写入原理2.1 图解文档的写入原理2.2 Translog2.3 Refresh2.3.1 概念和原理2.3.2 设置刷新间隔2.3.3 强制对索引刷新2.4 Flush2.5 Merge3、写入性能调优3.1 基本原则3.2 优化手段3.2.1 增加 flush 时间间隔3.2.2 增加refresh_interval的参数值3.2.3 增加Buffer大小3.2.4 关闭副本3.2.5 禁用s
elasticsearch 每次查询结果不一样
m0_67392126的博客
04-18 3923
这种情况一般都是出现在集群中，目前已知会有两种可能： 1.就是主副分片的数据不一致，es 查询默认情况下会随机选择分片或者其副本，所以导致同样的查询结果不一致。此情况产生的原因复杂，默认情况下，写入数据时，会先写入主分片，主分片成功后，再并发写入副本分片，当所有副本分片成功后，才会返回成功。所以要找出数据不一致的原因并解决，这种情况我没遇到过。 2.我遇到的是第二种情况，因为我的集群中的两个节点的 ik 配置不一致导致了这种结果，所以要保证各节点的 es 和插件的配置一致。 ...
canal无法同步数据到es的坑
无名小仙男的博客
03-05 1000
canal
es数据与mysql的双写_DB与ES组合应用内的数据实时同步
weixin_35444557的博客
02-06 1802
问题1. 同步实时性：数据在DB更新后需多久才更新到Elasticsearch，多久的时间是应用系统可以接受范围，一般需要控制在1s以内，如果是分钟以上，属于离线同步。2.数据一致性，数据频繁在DB变更修改，更新到ES后如何保证数据与DB一致，在容许的时间范围内应用系统查询的数据有效可接受的，如果变更出现覆盖等，那数据是无效的，应用系统是不可接受的，如何修复。同步模式1.推送Push模式，数据源主...
【微服务】mysql + elasticsearch数据双写设计与实现
最新发布
congge
11-04 8486
mysql + elasticsearch数据双写设计与实现
【Elasticsearch】暂时移除一个节点（排除和加入单个节点）
ihero的博客
03-17 991
在维护 ElasticSearch 集群的过程中，我们会经常遇到将某个 ElasticSearch 节点临时下线，比如机器换硬盘，系统参数调整，调整完毕后，再将 ElasticSearch 实例重新上线。ElasticSearch 提供了非常便利的API来支持这一点。集群一共 270 个节点，发现一个节点报错率很高，把这个节点下线，集群就恢复正常；
解决elaticsearch bug的方法，节点不对，把节点删除，从新开始
weixin_34241036的博客
07-27 190
2019独角兽企业重金招聘Python工程师标准>>> ...
elasticsearch如何与mysql数据保持同步？
06-03
要实现 Elasticsearch 与 MySQL 数据保持同步，你可以按照以下步骤进行： 1. 安装 Elasticsearch：你需要在本地或服务器上安装 Elasticsearch，并启动它。你可以从官方网站下载并安装 Elasticsearch。 2. 安装 Elasticsearch JDBC 插件：你需要安装 Elasticsearch JDBC 插件，以便能够连接到 MySQL 数据库。你可以从 Elasticsearch 官网下载并安装插件。 3. 创建 Logstash 配置文件：你需要创建 Logstash 配置文件，以便将 MySQL 数据库中的数据同步到 Elasticsearch。以下是一个示例配置文件： ``` input { jdbc { jdbc_driver_library => "/path/to/mysql-connector-java.jar" jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_connection_string => "jdbc:mysql://localhost:3306/mydatabase" jdbc_user => "myuser" jdbc_password => "mypassword" schedule => "* * * * *" statement => "SELECT * from mytable where updated_at > :sql_last_value" use_column_value => true tracking_column => "updated_at" tracking_column_type => "timestamp" clean_run => true } } output { elasticsearch { hosts => ["localhost:9200"] index => "myindex" document_id => "%{id}" } } ``` 以上配置文件会每分钟查询一次 MySQL 数据库中的数据，并将其同步到 Elasticsearch 中。Logstash 会根据更新时间字段（这里是 updated_at）来判断哪些数据需要同步。如果你需要同步新增的数据，可以将 clean_run 参数设置为 false。 4. 启动 Logstash：使用以上配置文件启动 Logstash。 5. 验证同步结果：你可以使用 Elasticsearch 查询 API 验证同步结果。以下是一个示例查询： ```php require 'vendor/autoload.php'; $client = Elasticsearch\ClientBuilder::create()->build(); $params = [ 'index' => 'myindex', 'type' => 'mytype', 'body' => [ 'query' => [ 'match' => [ 'title' => 'php' ] ] ] ]; $response = $client->search($params); foreach ($response['hits']['hits'] as $hit) { echo $hit['_source']['title'] . "\n"; } ``` 以上是使用 Elasticsearch JDBC 插件实现 Elasticsearch 与 MySQL 数据保持同步的基本步骤。你可以根据自己的需求进行调整和优化。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会写代码的花城

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值