Elasticsearch操作数据后马上更新的办法

Elasticsearch刷新机制详解
最新推荐文章于 2025-03-20 15:02:41 发布
原创 最新推荐文章于 2025-03-20 15:02:41 发布 · 4.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了Elasticsearch中的刷新机制，特别是在批量请求和数据更新时如何使用setRefresh(true)来确保数据的实时性。同时，文章也提到了通过bulkProcessor.flush()或Thread.sleep(1000)作为替代方案进行数据刷新的方法。

BulkRequestBuilder bulkRequest = ESTools.client.prepareBulk().setRefresh(true);

这里的setRefresh(true);

就是自动刷新的用处。所以在我们CRUD的时候，如果对数据增删改操作的时候，如果要及时返回最新数据，那么我们就需要加这个方法，及时刷新数据。

当然 Elasticsearch  也是可以配置刷新时间的，但是没必要，频繁的刷新会造成压力过大。

or

bulkProcessor.flush();

或者Thread.sleep(1000) 睡一秒

springboot 实现elasticsearch索引数据迁移
congge
01-08 7659
springboot实现es数据迁移
C#中 ElasticSearch的数据更新
agandefendou的博客
12-17 1833
对于es的更新操作，也是有一定的场景需要更新es中的数据，但并不是可以随意更改，毕竟es的优势是海量数据的查询。 多的不说直接看如何操作，首先我们来看下，Es提供的api接口是如何做到修改的？ ES API中给我们提供了一个_update_by_query的api。我直接拿来试： 这是请求的body，通过post请求 { "query": { "term": { "ship_id": 100 } }, "script": { "lang": "painless
Elasticsearch - Elasticsearch 优化（十五）
MinggeQingchun的博客
09-25 1599
具体的路径可在 ES 的配置文件中配置，如下：磁盘在现代服务器上通常都是瓶颈。Elasticsearch 重度使用磁盘，你的磁盘能处理的吞吐量越大，你的节点就越稳定。这里有一些优化磁盘 I/O 的技巧：1、使用 SSD；固态硬盘比机械磁盘快2、使用 RAID 0。条带化 RAID 会提高磁盘 I/O，代价显然就是当一块硬盘故障时整个就故障了。不要使用镜像或者奇偶校验 RAID 因为副本已经提供了这个功能。
ES限流导致ES数据更新不及时问题
半桶水的博客
12-28 1683
es限流
Elasticsearch(ES)(版本7.x)数据更新后刷新策略RefreshPolicy
zk_tww的博客
08-16 1730
ES数据写入后，默认1s后才会被搜索到（refresh_interval为1）；这样可能是考虑到性能问题，毕竟实时IO 消耗较多资源。
Elasticsearch之更新（全部更新和局部更新）
weixin_33705053的博客
11-14 2727
首先，明确一个概念，es包括全部更新和局部更新！ ES全部更新 　　ES可以使用PUT或者POST对文档进行更新(全部更新)，如果指定ID的文档已经存在，则执行更新操作。 比如，我这里，id=1文档存在，那么，就是es全部更新。 注意: 　　es执行更新操作的时候，ES首先将旧的文档标记为删除状态，然后添加新的文档，旧的文档不会立即消失，但是你也...
MySQL 与 Elasticsearch 数据不对称问题解决办法
09-09
在整合MySQL和Elasticsearch的过程中，常常会遇到数据同步不一致的问题，这主要是由于数据库的更新、删除操作未被及时反映到搜索引擎中导致的。针对这种情况，我们可以采取一系列策略来解决这种不对称问题。 首先，...
轻松迁移 Elasticsearch 数据：如何将自建索引导出并导入到另一个实例
最新发布
Bertram的博客
03-20 1567
轻松迁移 Elasticsearch 数据：如何将自建索引导出并导入到另一个实例
解决elasticsearch更新数据后不能立即刷新的问题
你今天真好看呀
11-10 1万+
1. 问题复现 今天在跟前端进行联调的过程中发现了一个问题，向elasticsearch中新增一条文档数据后，立即请求查询文档列表，发现刚刚新增的文档查不出来，需要等一会后再次请求查询才能查询出来，随后测试了删除文档列表和更新文档列表中的文档这两个接口，出现了同样的问题，即elasticsearch数据更新有延迟。 2. 原因分析 在写操作中，一般会先在内存中缓冲一段数据，再将这些数据写入硬盘，每次写入硬盘的这批数据称为一个分段，如同任何写操作一样。一般情况下，通过操作系统write接口写到磁盘的数据先到达
es 执行update操作后，列表不能够及时刷新，刷新间隔refresh_interval
Mr.Bug的博客
07-24 2865
更新的时候设置 refresh_policy 为 immediately 即可， 如果不设置默认是不会立刻刷新的，需要等待索引 index.refresh_interval 设置的时间到了才会自动刷新 JAVA API 示例： public UpdateResponse alarmLogIgnore(DataContainer dataContainer, String _index, String _type, String _id, String ignoreValue) { UpdateRes
ElasticSearch(六) Update API
weixin_30652897的博客
12-26 345
一、修改部分字段By UpdateRequest UpdateRequest updateRequest = new UpdateRequest(); updateRequest.index("index"); updateRequest.type("type"); updateRequest.id("1"); updateRequest.doc(jsonBuilder() ...
ES实时刷新与n秒刷新，压测性能耗损情况
东境物语
12-07 1万+
ES压测 机器配置： CPU：4核     内存：8G 一、10万数据 1、50个线程（实时刷新，设置方法参考：http://blog.csdn.net/wwd0501/article/details/78316581） ①创建索引后，默认1s更新 耗时：131437ms(2分钟多)  丢索引情况：无丢失 CPU情况：100%左右 内存使用情况：30%左右 异常情况：无 ②
es 设置刷新时长
LZHH_2008的博客
04-19 4194
write -> refresh -> flush write：文档数据到内存缓存，并存到 translog refresh：内存缓存中的文档数据，到文件缓存中的 segment 。此时可以被搜到 flush 是缓存中的 segment 文档数据写入到磁盘 写入过程 Elasticsearch写入数据到索引的过程大致是这样的： 首先客户端会根据配置的连接节点，通过轮询的方式选择一个coordinate节点。 coordinate节点通过路由函数
Elasticsearch中refresh和flush的区别是什么
蒜蓉粉丝蒸扇贝的专栏
11-03 1万+
在ES中， 要保证被索引的文档能够立即被搜索到， 有两种方法：_refresh 或者_flush。 那么二者的区别是什么呢？要搞懂这个问题， 就需要对ES中文档的索引过程有个了解。 我们知道ES的索引数据是写入到磁盘上的。但这个过程是分阶段实现的，因为IO的操作是比较费时的。 当一个文档进入ES的初期， 文档是被存储到内存里的，默认经过1s之后， 会被写入文件系统缓存，这样该文档
es 更新延迟问题
热门推荐
chedan666的博客
10-23 1万+
es 更新延迟问题 es 近实时搜索 瞎解释 详情还是看上面的说明吧，总而言之，es在更新之后并不是立即可见(可查询)的，会有1s的延迟，可以通过设置refresh_interval参数来修改刷新的间隔。 但是在实际应用中，1s的延迟已经算是很久了，在java high level client中，为index、insert、update、bulk 提供了setRefreshPolicy方法，用于...
ElasticSearch之refresh操作,更新延迟问题
qq_44563308的博客
07-05 2761
1.问题 今天在项目现场遇到一个问题,前端在修改es中数据的时候立刻刷新,出现查询出来的数据确实未更新之前的数据,需要再手动刷新才能拿到更新之后的问题,这就导致展示的状态出现问题. 2.原因 经过查找发现,原来是因为es的默认机制问题,默认1s更新数据才会生效导致. 3.解决方式 一.如果可以,应避免立即刷新抓取新数据.绕过这一业务环节,避免去使用强制刷新,因为实时刷新会导致性能问题,es性能将会比默认1s刷新降低10倍,有兴趣详细了解可以去另一个大佬 博客 看看. 二.如果实在需要,可以按照下列方式关闭1
elasticsearch之UpdateByQueryRequest
2401_84024576的博客
05-23 279
:“安阳市”,“createTime”:1515719190000,“createUser”:“system”,“id”:“000238a326b044e9ae10cfe4298f4c44”,“isEnabled”:“1”,“name”:“中国农业发展银行林州市支行”,“provinceId”:“410000”,“provinceName”:“河南省”,“unionNumber”:“203496100010”}”, XContentType.JSON);
Python简易教程：MySQL数据实时同步至Elasticsearch
本篇教程旨在介绍如何使用Python语言实现MySQL数据库与Elasticsearch之间的数据同步，以解决传统方法如Logstash-input-jdbc提供的1分钟同步频率无法满足实时业务需求的问题。作者选择了一种更为直接且适应小规模数据...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值