elsearch 批量更新 延时

最新推荐文章于 2022-12-28 16:49:46 发布
最新推荐文章于 2022-12-28 16:49:46 发布
阅读量272 收藏
点赞数
分类专栏： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yournevermore/article/details/87926034
版权

        前段时间 , 用 layui + elsearch做批量删除再刷新的活儿,
发现更新60条数据后 , layui.table 立刻reload会导致明明已经被更新后的数据又被查了出来 , 再次查询才能查到全新的数据 , 一开始以为是layui表格缓存的锅 , 浪费了大量时间去网上查 ,未果 . 后来经过仔细研究发现 , elsearch批量更新后数据被暂存在内存中 ,还未更新至磁盘 , 所以立刻去文档中查是查不到的 ,

解决办法:

批量更新后加
es.indices.refresh(index="xxx")
将数据从内存刷到磁盘中
yournevermore
关注
专栏目录
【SpringBoot】43、SpringBoot中整合RabbitMQ实现延时队列（延时插件篇）
Asurplus
02-21 21万+
一、介绍 1、什么是延时队列？ 延时队列即就是放置在该队列里面的消息是不需要立即消费的，而是等待一段时间之后取出消费 2、适用场景 （1）商城订单超时未支付，取消订单 （2）使用权限到期前十分钟提醒用户 （3）收益项目，投入后一段时间后产生收益 二、实现方式 从以上场景中，我们可以看出，延时队列的主要功能就是在指定的时间之后做指定的事情，那么，我们思考有哪些工具我们可以使用？ 1、Redis 监听过期 Key 可以参考我的博客【SpringBoot】三十五、SpringBoot整合Redis监听Ke
MyBatis进阶八：Mybatis批处理；（批量插入，批量删除，批量更新待写…）
小枯林的博客
05-13 2万+
fsd
el search 条件更新
jacke121的专栏
05-18 2605
from elasticsearch import Elasticsearch es = Elasticsearch(['192.168.55.90:9200']) updateBody = { "query": {"bool": { "must": { "wildcard": { "fileName.keyword": "0719_020314_631578*" }}} ...
es 按字段全部更新置0、批量更新bulk
weixin_42357472的博客
11-02 1871
全部更新 ### try: updateBody = { "script": { "source": "ctx._source['repetitive_items_prior_eliminated'] = params['value']", "lang": "painless", "params": {"value": [] } } } p
python elasticsearch timeout_python批量插入数据到es超时问题
weixin_39915427的博客
12-09 795
我批量插入数据，基本都是每秒达到3W+的，我的数据都是30多个字段，就算查到5亿以上性能也不受影响。我的集群是三台机子，四个节点配置都是128G内存24核，elasticsearch分配的内存都是31G设置插入超时可以builder.setMaxRetryTimeoutMillis(QUERY_TIMEOUT);其中QUERY_TIMEOUT为毫秒。我现在每个INDEX基本都是10亿+的，聚合什么...
elasticsearch 怎么做批量更新
第一次亲密接触
05-19 2120
elasticsearch 批量更新
ES限流导致ES数据更新不及时问题
最新发布
半桶水的博客
12-28 1471
es限流
开机启动顺序管理 批量开机启动 延时开机启动
03-23
总的来说，通过合理管理和利用开机启动顺序、批量开机启动和延时开机启动，我们可以优化系统资源的分配，提升电脑的启动速度和工作效率，同时确保各个程序按照预设的顺序和时间准确运行。了解并掌握这些技巧，对于...
Time-lapse-assistant:延时后处理软件（预览，闪烁和批量编辑）
05-04
这里我们来探讨一款名为“Time-lapse-assistant”的延时后处理软件，它是摄影师们在预览、解决闪烁问题和批量编辑方面的得力工具。 预览功能是延时摄影软件的基础，Time-lapse-assistant提供了强大的预览能力。通过...
Windows 延时启动批处理脚本
07-19
批处理脚本在日常管理和维护计算机系统时非常有用，尤其是在需要定时执行任务、批量处理文件或自动运行程序等场景下。通过熟练掌握批处理脚本的编写，我们可以提高工作效率，简化复杂的操作流程。 总结一下，本篇...
ES优化总结（特别是在bulk大量数据到ES的时候），持续续更新中。。。。
热门推荐
chen
11-22 3万+
1、refresh时间间隔 优化点： 减少刷新频率，降低潜在的写磁盘性能损耗， 默认的刷新时间间隔是1s，对于写入量很大的场景，这样的配置会导致写入吞吐量很低，适当提高刷新间隔，可以提升写入量，代价就是让新写入的数据在60s之后可以被搜索，新数据可见的及时性有所下降。 在bulk大量数据到ES集群的时候可以关闭刷新频率，把其值设置为-1就是关闭了刷新频率，在导入完之后设置成合理的值即可，例
Elasticsearch 使用updateByQuery批量更新数据
coding_ws的博客
03-05 1万+
Elasticsearch 使用updateByQuery批量更新数据 对于批量更新数据，通常我们有2种做法 按照更新的条件，从es查询出所有待更新的记录的id，然后根据id再通过Bulk.Builder接口完成批量更新 直接使用updateByQuery接口完成批量更新的操作 可以看出第一种更新方法在更新前需要先查询一次es，接下来依次来看每种更新方法的详细使用： 首先创建一个索引put http://localhost:9200/user { "mappings":{ "_doc":{
ElasticSearch更新后延迟解决方法
wlchn
07-11 1万+
在index后有一个refresh_interval默认1秒，在这个时间间隔内search是不可见的。 解决办法有两种： 1，通过ui层解决。操作成功后只操作UI,而不是通过ES。 2，搜索时加上?refresh=wait_for，表示如果1秒内有请求立即更新并可见。参考： https://stackoverflow.com/questions/31499575/how-to-deal-wi
elasticsearch批量修改，批量更新某个字段
weixin_34326429的博客
11-19 2万+
1.源生API 在这里没有用官方提供的bulkAPI，而是用的另外一种方式。 POST /infomations/infomations/_update_by_query JSON请求格式 { "query": { "match": { "status": "UP_SHELF" } }, "...
elasticsearch近实时搜索refresh
gongpulin的博客
12-10 2244
近实时搜索编辑 随着按段（per-segment）搜索的发展， 一个新的文档从索引到可被搜索的延迟显著降低了。新文档在几分钟之内即可被检索，但这样还是不够快。 磁盘在这里成为了瓶颈。 提交（Commiting）一个新的段到磁盘需要一个 fsync 来确保段被物理性地写入磁盘，这样在断电的时候就不会丢失数据。 但是 fsync 操作代价很大; 如果每次索引一个文档都去
关于大批量数据快速更新的代码分享
何必说
12-15 414
由于某些场景需求需要涉及到大批量数据更新，于是我在问答开始付费征求秒级处理数据的思路，但是一无所获，于是我自己便写了一版效率不是很高但是勉勉强强还能使用 for i in range(0,len(data),10000): #分批次预处理数据,一次一万条 solve_data =data.iloc[i:i+10000,:] # print(solve_data) try: id_list = tuple(so
es 文档的CRUD和批量操作
gnufre的专栏
05-18 226
// create document, 自动生成_id POST user/_doc { "user":"Mike", "post_date":"2020-05-18T10:32:12", "message":"trying out kibana" } // create document,指定id，如果id已存在，则报错 PUT user/_doc/1?op_type=create { "user":"jike", "post_date":"2020-05-18T10:32:12",...
【elasticsearch】批量更新数据
十一月的肖邦
02-25 4348
软件版本： php 5.6.31， elasticsearch 6.1.1 代码： function actionArticle() { $open_sites = Yii::$app->getDb()->createCommand( "select indicator from {{%site}} where status = 1 order by id as..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值