强制清除Elasticsearch中已删除的文件

最新推荐文章于 2024-03-22 16:15:16 发布
VIP文章 最新推荐文章于 2024-03-22 16:15:16 发布
阅读量2.7w 收藏 8
点赞数
分类专栏： Elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/quicknet/article/details/46421505
版权

       Elasticsearch是建立在Apache Lucene 基础上的实时分布式搜索引擎，Lucene为了提高搜索的实时性，采用不可再修改（immutable）方式将文档存储在一个个segment中。也就是说，一个segment在写入到存储系统之后，将不可以再修改。那么Lucene是如何从一个segment中删除一个被索引的文档呢？简单的讲，当用户发出命令删除一个被索引的文档#ABC时，该文档并不会被马上从相应的存储它的segment中删除掉，而是通过一个特殊的文件来标记该文档已被删除。当用户再次搜索到#ABC时，Elasticsearch在segment中仍能找到#ABC，但由于#ABC文档已经被标记为删除，所以Lucene会从发回给用户的搜索结果中剔除#ABC，所以给用户感觉的是#ABC已经被删除了。

       Elasticseach会有后台线程根据Lucene的合并规则定期进行segment merging合并操作，一般不需要用户担心或者采取任何行动。被删除的文档在segment合并时，才会被真正删除掉。在此之前，它仍然会占用着JVM heap和操作系统的文件cache等资源。在某些

最低0.47元/天 解锁文章
quicknet
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
基于logstash实现日志文件同步elasticsearch
01-19
引言： 之前博文介绍过了mysql/oracle与ES之间的同步机制。而logstash最初始的日志同步功能还没有介绍。本文就logstash同步日志到ES做下详细解读。 1、目的： 将本地磁盘存储的日志文件同步（全量同步、实时增量同步）到ES中。 2、源文件： [root@5b9dbaaa148a test_log]# ll -rwxrwxrwx 1 root root 170 Jul 5 08:02 logmachine.sh -rw-r--r-- 1 root root 66 Jul 5 08:25 MProbe01.log -rw-r--r-- 1 root root 74
ElasticSearch删除数据后释放磁盘空间
egegerhn的博客
04-18 3931
问题：公司es 几百万数据量，删到只剩30万数据量，数据磁盘并没有变少多少。 经过查询才知道删除文档并没有真正删除，仅作了删除标记，从而不能再被搜索到。要想释放磁盘的空间，要使用forcemerge命令合并段减少分片中段数量、删除冗余数据。 1、优化所有索引： POST http://localhost:9200/_forcemergeonly_expunge_deletes=true 2、优化单个索引： POST http://localhost:9200/索引名/_forcemergeonly_expu
清理Elasticsearch占用的内存和磁盘空间
最新发布
laolitou_1024的博客
03-22 1048
ELK中的Kibana连不上Elasticsearch了，提示Cannot connect to the Elasticsearch cluster，检查发现OutOfMemoryError，通过删除历史索引，达到清理Elasticsearch占用的内存和磁盘空间的目的
ElasticSearch集群配置文件
06-21
ElasticSearch集群配置文件 其他节点只需要修改以下内容： 1. node.name: es-node1 --节点名称不能一样 2. http.port: 8081 --节点端口 3. transport.port: 8090 --节点间通信端口 4. discovery.seed_hosts: --集群节点配置 - 192.168.0.31:8090 - 192.168.1.4:8091
elasticsearch.yml 配置文件
11-01
elasticsearch.yml 配置文件 ，大自然的搬运工
Elasticsearch 更新和删除文档的过程，以及搜索的过程
siyuanwai的博客
07-23 739
更新和删除文档的过程 1、删除和更新也都是写操作，但是Elasticsearch 中的文档是不可变的， 因此不能被删除或者改动以展示其变更； 2、磁盘上的每个段都有一个相应的.del 文件。当删除请求发送后，文档并没有真的被删除，而是在.del 文件中被标记为删除。该文档依然能匹配查询，但是会在结果中被过滤掉。当段合并时，在.del 文件中被标记为删除的文档将不会被写入新段。 3、在新的文档被创建时，Elasticsearch 会为该文档指定一个版本号，当执行更新时，旧版本的文档在.del 文件中被标记为删
elasticsearch彻底删除文件命令行操作
qq_37921030的博客
12-20 1383
单纯的用查询操作只会删除表单信息，并不会真正的在磁盘中删除，如果要删除的话，还得是强制合并。 curl -XPOST -u elastic:changeme ‘http://localhost:9200/_forcemerge?only_expunge_deletes=true’ 如果只是单独合并某个索引: curl -XPOST -u elastic:changeme ‘http://localhost:9200/logstash-2021.09.15-000001/_forcemerge?only_ex
ES性能优化之查询优化笔记（一）
gg1314723的博客
03-31 1997
文章目录前言一、让分片均匀分布二、修改索引刷新时间及副本数三、修改merge参数以及线程数四、修改事务日志translog参数五、禁用Doc Values六、禁用_source字段总结 前言 优化的场景除了集群基础的性能优化之外，还要区分具体的场景，往往一些参数调整会有相应的好处和坏处，而且往往写入和查询的优化是对立的，要结合相应的业务场景 提示：以下是本篇文章正文内容，下面案例可供参考 一、让分片均匀分布 针对于5个以上机器节点，为了让各个实例上的分片均匀分布，添加如下参数，设置每个索引在单个实例上
【ES实战】_forcemerge API 使用说明
coding and writing
02-17 5354
_forcemerge API 使用说明
ElasticSearch性能优化策略
weixin_33736649的博客
08-19 175
ElasticSearch性能优化主要分为4个方面的优化。 一、服务器部署 二、服务器配置 三、数据结构优化 四、运行期优化   一、服务器部署 1、增加1-2台服务器，用于负载均衡节点 elasticSearch的配置文件中有2个参数：node.master和node.data。这两个参 数搭配使用时，能够帮助提供服务器性能。 1.1> node.master: fals...
es强制段合并实验
大叶子不小的博客
06-29 1077
由于集群的磁盘空间限制，我们删除了超过10亿的数据，但是发现删除后，磁盘的可使用空间并有快速上升。当发生merge时，才会物理意义上的删除。所以默认情况下的，强制合并能大幅度降低磁盘占用率，deleted占比越高，降低的占用率幅度就越大。耗时约1.1天后，合并完成，磁盘使用由40TB降至22TB，释放了18TB空间。强制合并会导致>=5GB的段，不太清楚一个段的大小达到100GB后，会导致什么结果。进行控制，默认是10.0，代表如果一个分片deleted/total超过10%，则会对该分片进行合并操作。
es2csv：从Elasticsearch导出到CSV文件
01-30
es2csv：从Elasticsearch导出到CSV文件
es-dedupe:用于从Elasticsearch删除重复文档的工具
05-05
此类文档的一份副本留在ES中，其他副本则通过批量API删除（通常，几乎全部-总是有一些问题）。 每次DELETE操作之后，我们都等待索引更新。 处理过的文档将登录到/tmp/es_dedupe.log 。 不幸的是，聚合查询不一定是...
从源码角度剖析 Elasticserach 段合并调优策略
铭毅天下Elasticsearch
08-29 361
1、背景TieredMergePolicy 作为 Elasticserach 默认的策略，和 LogMergePolicy 合并相邻的段不同，其合并大小相近的段。作为 ES 使用的段策略，它的核心思想是将索引段分成多个层次（tier），每个层次的段大小会有一个预设的上限。当某一层的段数量超过阈值或者某个段的大小达到阈值时，就会触发合并操作，将多个小段合并成一个较大的段。通俗理解分层为更好地辅助大家...
释放Elasticsearch存储空间
neweastsun的专栏
02-27 3231
Elasticsearch删除文档并没有真正删除，仅作了删除标记，从而不能再被搜索到。为了回收磁盘空间，需要_forcemergeAPI进行清理和优化。 Force Merge API 为了理解Force Merge API，我们需要大概了解Elasticsearch的底层架构Lucene。当往索引中插入文档时，文档被映射到一个或多个分片。每个分片有多个段组成，段可理解为针对特定数据集进行处理的迷你索引。Force Merge API通过合并段减少分片中段数量、删除冗余数据，优化Elasticsearch索
ElasticSearch之Force merge API
Jackie的家
12-02 770
ElasticSearch之Force merge API
第1.4章 elasticsearch删除字段
热门推荐
warrah 南极狼
10-10 2万+
es因为文档存储，所以一旦字段确立，想要更改就不是那么件容易的事情，网上找到很多的例子，有很多只是说了一半。 比如这篇文章里面的elasticsearch mapping 添加 编辑 删除字段，他说要把导出的json数据中，删除掉字段对应的数据去掉，才能导入，然后没有下文了。确实着实让人苦恼。 elasticsearch更改mapping(不停服务重建索引),这篇文章，告诉我一个思路，但是提到如何...
ES索引优化方案
weixin_36382661的博客
10-21 2647
es索引优化
写一个脚本删除Elasticsearch中30天前的数据
02-16
当然，下面是一个可以用来删除Elasticsearch中30天前数据的脚本: ```python from datetime import datetime, timedelta from elasticsearch import Elasticsearch # 连接 Elasticsearch es = Elasticsearch(['localhost']) # 设置要删除的索引名 index_name = 'my_index' # 获取30天前的日期 thirty_days_ago = datetime.now() - timedelta(days=30) # 构建查询语句 query = { "query": { "range": { "@timestamp": { "lt": thirty_days_ago.strftime("%Y-%m-%dT%H:%M:%S.%fZ") } } } } # 执行删除操作 res = es.delete_by_query(index=index_name, body=query) print(res) ``` 需要注意的是，上面的代码使用了 Elasticsearch 的 delete_by_query API，这个 API 可能会对 Elasticsearch 集群造成较大的压力，请谨慎使用。另外，删除数据是一个不可逆的操作，请务必谨慎操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值