ElasticSearch的REST APIs 之 索引的状态管理

最新推荐文章于 2023-10-05 21:06:36 发布
最新推荐文章于 2023-10-05 21:06:36 发布
阅读量600 收藏
点赞数
文章标签： 数据库 python java elasticsearch mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aben_sky/article/details/121514567
版权

基于ES7.7 官方文档

内容包括:

  • 清空缓存 ( Clear cache )
  • 更新索引以让新文档可以被搜索 ( Refresh )
  • 将内存缓冲区中的文档写入磁盘 ( Flush )
  • 同步Flush ( Synced flush ) 7.6版本被弃用
  • 强制合并 ( Force merge )

ES中refresh和flush的区别: 参考官方博客 https://blog.csdn.net/UbuntuTouch/article/details/103641544

1. 清空缓存 (Clear cache API)

清空一个或多个索引的缓存。官方文档

POST /<index>/_cache/clear

路径参数

<index>

  (可选, string) 支持多个逗号连接的多个索引名称或者通配符表达式。

请求参数

allow_no_indices

  (可选, bool) 默认true。如果设置为true, 则当全部使用通配符*、_all只检索不存在(missing)或者已关闭(closed)的索引(或索引别名)时，不会抛出错误。

expand_wildcards

  (可选, string) 通配符查询时的范围限制。支持多个条件以逗号分割。默认open。

  • all: 匹配open和closed的索引, 包括隐藏的.
  • open: 默认, 表示只查询开放中的索引
  • closed: 只匹配closed的索引
  • hidden: 隐藏的(hidden)索引, 必须和open/closed联合使用.
  • none: 不接受通配符.

fielddata

  (可选, bool) 如果为true, 则清空字段的缓存。与参数fields一起使用，仅清空指定字段的缓存。

fields

  (可选, string) 支持多个字段名的逗号拼接。与参数fielddata一起使用，仅清空指定字段的缓存。默认是所有字段。

不支持对象和字段别名

index

  (可选, string) 支持多个索引名称的逗号拼接。

ignore_unavailable

  (可选, bool) 如果为true，则 返回数据中不会包含missing或closed的索引。默认false，查询时只要有一个索引不存在，就会返回404并抛出错误信息。

query

  (可选, bool) 如果为true，清空查询缓存(query cache)。

request

  (可选, bool) 如果为true，清空请求缓存(request cache)。

几个栗子

1、清空指定类型的缓存 （Clear a specific cache）

默认情况下，这个/_cache/clear API会清空所有缓存。如果只想清空指定的缓存， 可以把下面的几个参数设置为true：

  • fielddata
  • query
  • request
# 仅清空字段的缓存
POST /<index>/_cache/clear?fielddata=true

# 仅清空查询缓存
POST /<index>/_cache/clear?query=true

# 仅清空请求缓存
POST /<index>/_cache/clear?request=true

2、清空指定字段的缓存

使用参数fields来指定要清空的字段，支持多个字段的逗号连接

# 仅清空字段 field1 和 field2 的缓存
POST /<index>/_cache/clear?fields=field1,field2

3、清空多个索引的缓存

#清空索引 index1 和 index2 的所有缓存
POST /index1,index2/_cache/clear

4、清空所有索引的缓存

POST /_cache/clear

# 下面两个不常用
POST /_all/_cache/clear
POST /*/_cache/clear

2. 更新索引以让新文档可以被搜索 ( Refresh API )

刷新一个或多个索引，以使新的文档可以被搜索。官方文档

# 刷新指定的索引
POST|GET /<index>/_refresh

# 刷新当前集群中的所有索引
POST|GET /_refresh

使用这个api可以显式的对一个或多个索引执行刷新（refresh）操作，使得自上次refresh操作以来的对该索引的所有操作（文档更新等）可以被搜索到。

默认情况下，ES以1秒为周期刷新索引，但仅针对在过去30秒内收到一个或多个搜索请求的索引。可以通过修改配置index.refresh_interval来改变这个默认配置。

刷新是资源密集型的操作。 为了确保良好的集群性能，建议等待Elasticsearch的周期性刷新，而不是在可能的情况下执行显式刷新。
如果您的应用程序工作流操作了文档(比如新增/修改文档)，然后(立即)搜索该索引，我们建议在使用index API的查询参数中使用refresh=wait_for来确保请求会先等待一个索引定期refresh的时间, 等索引刷新完毕, 再执行搜索。

路径参数

<index>

  (可选, string) 支持索引名称的英文逗号分割的列表或通配符表达式。如果要刷新当前集群的所有索引， 可以使用_all或*或直接忽略这个参数。

查询参数

allow_no_indices

  (可选, bool) 默认true。如果设置为true, 则当全部使用通配符*、_all只检索不存在(missing)或者已关闭(closed)的索引(或索引别名)时，不会抛出错误。

expand_wildcards

  (可选, string) 通配符查询时的范围限制。支持多个条件以逗号分割。默认open。

  • all: 匹配open和closed的索引, 包括隐藏的.
  • open: 默认, 表示只查询开放中的索引
  • closed: 只匹配closed的索引
  • hidden: 隐藏的(hidden)索引, 必须和open/closed联合使用.
  • none: 不接受通配符.

ignore_unavailable

  (可选, bool) 如果为true，则 返回数据中不会包含missing或closed的索引。默认false，查询时只要有一个索引不存在，就会返回404并抛出错误信息。

栗子

1. 刷新多个索引

# 刷新指定的几个索引
POST /index1,index2,index3/_refresh

# 刷新指定前缀的索引
POST /index*/_refresh

2. 刷新当前集群的所有索引

POST /_refresh

# 下面两个不常用
POST /_all/_refresh
POST /*/_refresh

3. 将内存缓冲区中的文档写入磁盘 ( Flush API )

对一个或多个索引执行Flush操作。 官方文档

POST|GET /<index>/_flush
POST|GET /_flush

索引的flush操作，是确保当前只存储在事务日志(transaction log / translog)中的任何数据被永久存储在Lucene索引中的过程。 当重新启动时，ES将所有未刷新(unflushed)的操作从事务日志中重放到Lucene索引中，使其恢复到重启之前的状态。Flush 会定期触发，也可以在 Translog 达到特定大小时触发，这些设置可以防止 Lucene频繁提交(就是flush)带来的不必要的开销。

这些机制与mysql很像

一旦每个操作被flush，它就会永久存储在Lucene索引中。 这可能意味着不需要在事务日志中维护它的额外副本，除非出于其他原因保留它。 事务日志由多个文件组成，称为版本(generations)，一旦不再需要任何版本文件，ES将删除它们，释放磁盘空间。

也可以使用 flush API 在一个或多个索引上触发flush操作，尽管用户很少需要直接调用这个API。 如果在索引一些文档之后调用flush API，返回成功状态则表明ES已经刷新(flush)了在调用该api之前所有被索引的文档。

路径参数

<index>

  (可选, string) 支持索引名称的英文逗号分割的列表或通配符表达式。如果要flush所有索引， 可以忽略这个参数或者使用_all或*。

查询参数

allow_no_indices

  (可选, bool) 默认true。如果设置为true, 则当全部使用通配符*、_all只检索不存在(missing)或者已关闭(closed)的索引(或索引别名)时，不会抛出错误。

expand_wildcards

  (可选, string) 通配符查询时的范围限制。支持多个条件以逗号分割。默认open。

  • all: 匹配open和closed的索引, 包括隐藏的.
  • open: 默认, 表示只查询开放中的索引
  • closed: 只匹配closed的索引
  • hidden: 隐藏的(hidden)索引, 必须和open/closed联合使用.
  • none: 不接受通配符.

force

  (可选, bool) 如果设置为true, 即使没有索引没有任何变更需要提交(commit)也会强制执行一次flush操作。默认true。

  可以使用此参数来增加事务日志(translog)的版本号(generation number)。

  此参数被视为内部参数。

ignore_unavailable

  (可选, bool) 如果为true，则 返回数据中不会包含missing或closed的索引。默认false。

wait_if_ongoing

  (可选, bool) 如果为true，则该flush操作会等待另外一个正在执行的flush操作。

  如果为false，则当有另外一个flush操作在执行时， ES会抛出错误。

  默认true。

几个例子

1、 flush指定的一个索引

POST /myindex/_flush

2、 flush多个索引

POST /myindex,order_2021/_flush
POST /order*/_flush

3、 flush当前集群的所有索引

POST /_flush

# 下面两种不常用
POST /_all/_flush
POST /*/_flush

4. 同步Flush (Synced flush)

synced-flush从ES 7.6版本开始弃用，8.0版本会移除！使用flush代替. 从7.6版本开始, flush与synced flush效果相同。

#! Deprecation: Synced flush is deprecated and will be removed in 8.0. Use flush at _/flush or /{index}/_flush instead.

POST|GET /<index>/_flush/synced
POST|GET /_flush/synced

本节内容省略, 如有需要参考官方文档 synced-flush

5. 强制合并 (Force merge API)

强制合并一个或多个索引的分片。

POST /<index>/_forcemerge

通过将分片中的一些段(segment)合并到一起，减少了分片中段的数量，还释放了已删除文档所占用的空间。 合并通常是自动进行的，但有时手动触发合并也是有用的。

Warning! 强制合并只应该在索引写入完成后被调用。 强制合并可能导致产生非常大的段(>5GB)，如果你继续对这样的索引进行写操作，那么自动合并策略将永远不会考虑这些段是否需要合并，直到段中大部分都是已删除的文档。 这可能会导致索引中保留非常大的段，从而导致磁盘使用增加和搜索性能下降。

强制合并操作引起的阻塞问题 (Blocks during a force merge)

调用这个API会导致阻塞，直到合并操作完成。 如果客户端在操作完成之前丢失连接，强制合并进程仍将在后台继续执行。 任何新的强制合并同一个索引的请求也将被阻塞，直到正在进行的强制合并完成。

强制合并多个索引

强制合并API可以在一次调用中同时操作多个索引，甚至可以使用_all操作所有索引。 一个节点一次可以执行一个分片的多个索引操作。 强制合并使得被合并的分片的存储空间临时增加，在max_num_segments参数设置为1的情况下，最大可以增加到两倍的大小，因为所有的段都需要重写到一个新的段。

ES 7.15文档 中有提及: 默认每个节点只有一个fore_merge线程。如果想在一个节点上同时对多个分片进行强制合并，则需要增大此线程数。

路径参数

<index>

  (可选, string) 支持索引名称的英文逗号分割的列表或通配符表达式。如果要flush所有索引， 可以忽略这个参数或者使用_all或*。

查询参数

allow_no_indices

  (可选, bool) 默认true。如果设置为true, 则当全部使用通配符*、_all只检索不存在(missing)或者已关闭(closed)的索引(或索引别名)时，不会抛出错误。

expand_wildcards

  (可选, string) 通配符查询时的范围限制。支持多个条件以逗号分割。默认open。

  • all: 匹配open和closed的索引, 包括隐藏的.
  • open: 默认, 表示只查询开放中的索引
  • closed: 只匹配closed的索引
  • hidden: 隐藏的(hidden)索引, 必须和open/closed联合使用.
  • none: 不接受通配符.

flush

  (可选, bool) 如果为true, 则ES在强制合并后执行flush操作。默认true。

ignore_unavailable

  (可选, bool) 如果为true，则 返回数据中不会包含missing或closed的索引。默认false。

max_num_segments

 （可选, integer) 段合并的目标数量(要把索引的所有的段合并成几个段)。如果要完全合并索引，请设置为1。默认会检查是否需要执行合并（比如原来就是一个segment，你发命令告诉es再合并成一个segment，那es就认为不需要执行合并了），如果需要则执行之。

only_expunge_deletes

  (可选, bool) 如果为true, 仅删除包含有已删除文档的段。默认false。

  在Lucene中，段中的文档并没有被真正删除，只是做了个已删除的标记而已。在合并过程中，会创建一个新的不包含删除文档的段。

该参数不会覆盖index.merge.policy.expunge_deletes_allowed设置。

几个栗子

1、强制合并一个索引

POST /myindex/_forcemerge

2、强制合并多个索引

POST /myindex,customers/_forecemerge
POST /orders*/_forecemerge

3、强制合并所有索引

POST /_forcemerge

# 下面两个不常用
POST /_all/_forcemerge
POST /*/_forcemerge

4、基于时间的索引 (Time-based indices)

强制合并对基于时间的索引很有用, 特别是使用rollover时。 在这些情况下，每个索引只在一段时间内接收索引流量。 一旦索引不再接收到写操作，它的分片就可以被强制合并为一个段。

# 把索引强制合并为一个段
POST /logs-000001/_forcemerge?max_num_segments=1

This can be a good idea because single-segment shards can sometimes use simpler and more efficient data structures to perform searches.

这会是一个好主意，因为只有一个段的分片有时可以使用更简单和高效的数据结构来执行搜索。

last updated at 2021/11/8 22:55

aben_sky
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java elasticsearch rest风格索引操作
12-26
改类封装elasticsearch5.x以rest风格操作的索引的部分api。类中有详细的注释，可供参考学习。希望能帮到有需要的同学。
ElasticSearch优化
an74520的专栏
08-14 8165
$ curl -XPOST 'http://localhost:9200/twitter/_optimize' 管理索引优化  optimize API允许通过API优化一个或多个索引。优化过程的操作基本上优化的索引搜索速度更快（和涉及到Lucene索引内保存每个碎片的段数）。优化操作允许减少的段数，把它们合并。 $ curl -XPOST 'http://localho
ElasticSearch 升级过程中给涉及到的术语-1、同步刷新synced  flush
大师兄你家猴跑啦的博客
11-27 2463
 Es 会跟踪每个活动分片的索引，分片在五分钟内如果没有收到任何有关索引的操作，则认为分片不活动了；这将给Es机会去减小分片的资源，同时执行一种特殊刷新，成为：同步刷新；同步刷新也是执行普通的刷新，然后给所有的分片添加一个不同的标记；     当没有索引操作时，id 标记会添加到分片上。标记可以作为一个快速的方式来检查两个分片的lucene索引一致是否一致；这种快速的id 比较主要用于 数据恢复...
ES 的 RESTFUL API 常用示例
abments的博客
12-25 1115
ES 的 RESTFUL API 常用示例
Elasticsearch——索引监控及状态管理
最新发布
吴声子夜歌的博客
10-05 485
其中，primaries仅包含主分片的值，total是主分片和从分片的累计值。在Elasticsearch中，系统提供了接口来监控索引的状态，包括索引的统计信息、碎片信息、恢复的状态和分片的信息，利用这些接口可以随时监控系统索引的状态。注意，当分片在集群中移动的时候，它们的统计数据会被清除，视作它们在其他节点中被创建。存储信息报告分片副本存在的节点、分片副本版本、指示分片副本最近的状态以及在开启分片索引时遭遇的任何异常。可以用来提供分片和索引的更多统计信息，可能是优化信息，删除的“垃圾”数据，等等。
Elasticsearch索引的基本操作(9)-索引的强制合并
冯立彬的博客
12-25 3066
强制合并的功能为强制合并一个或多个索引，目的是通过索引合并达到减少段的数量，通过POST方法执行_forcemerge API。 强制合并请求在没有执行完成之前，请求会一直被阻塞，直到执行完成才会返回，如果期间该HTTP请求由于网络或者其它原因被断开，合并请求将继续在后台执行，直到完成或发生异常结束。如果已经有强制合并正在执行，后续发起的强制合并请求将被会阻塞，直到当前正在执行的合并请求执行完后...
Elasticsearch之索引维护
01-07
Elasticsearch存储数据之前需要先创建索引，类似于结构型数据库建库建表，创建索引时定义了每个字段的索引方式和数据类型。  常用API： 1、查看指定索引信息： GET http://$user:$passwd@$host:$port/$index 2：...
Elasticsearch之倒排索引
01-20
Elasticsearch通过倒排索引的数据结构来实现全文搜索 在关系数据库系统里，索引是检索数据最有效率的方式。但对于搜索引擎，它并不能满足其特殊要求，比如海量数据下比如百度或者谷歌要搜索百亿级的网页，如果使用...
Elasticsearch7.14.0+thinkphp5.1后台管理索引和文档+权限管理
09-04
Elasticsearch+thinkphp5.1后台管理索引和文档+权限管理，可查看https://blog.csdn.net/weixin_39934453/article/details/120097526
elasticsearch-rest-client-6.8.3-API文档-中文版.zip
07-13
赠送jar包：elasticsearch-rest-client-6.8.3.jar； 赠送原API文档：elasticsearch-rest-client-6.8.3-javadoc.jar； 赠送源代码：elasticsearch-rest-client-6.8.3-sources.jar； 赠送Maven依赖信息文件：elastic...
Elasticsearch：索引状态是红色还是黄色？为什么？
Elastic 中国社区官方博客
04-05 3086
在今天的文章中，我将详细介绍如何故障排除和修复索引状态。Elasticsearch 是一个伟大而强大的系统，特别是创建一个可扩展性极强的分布式数据存储，并自动跟踪、管理和路由索引中的所有数据。但有时事情会出错，索引会遇到或大或小的麻烦。这通常最终会导致它们具有红色或黄色的状态。集群将紧随其后，因为它的状态是所有索引中最差的，例如 如果一个索引为红色，则集群为红色。如果你的集群和一些索引是红色或黄色的，你会怎么做？那么，你需要找出原因。
从源码角度剖析 Elasticserach 段合并调优策略
铭毅天下Elasticsearch
08-29 362
1、背景TieredMergePolicy 作为 Elasticserach 默认的策略，和 LogMergePolicy 合并相邻的段不同，其合并大小相近的段。作为 ES 使用的段策略，它的核心思想是将索引段分成多个层次（tier），每个层次的段大小会有一个预设的上限。当某一层的段数量超过阈值或者某个段的大小达到阈值时，就会触发合并操作，将多个小段合并成一个较大的段。通俗理解分层为更好地辅助大家...
elasticsearch API约定(一)
江南一点雨的专栏
11-14 1723
前面我们介绍了一些REST API的基本用法，使读者对API的使用有了一个直观的了解，本文我们来介绍下Elasticsearch中的API约定，这些约定适用于大部分的RE...
elasticsearch常用操作
weixin_40400488的博客
03-14 816
elasticsearch 使用时常用命令汇总
（持续更新）elasticsearch常用的索引、集群状态查询、操作指令
RonnieCcc的博客
10-11 653
elasticsearch常用的索引、集群状态查询、操作指令
【ES源码分析】强制合并分段（_forcemerge API）源码分析
coding and writing
02-17 1752
对 _forcemerge API的源码分析
ElasticSearch---查询es集群状态、分片、索引
ss810540895的博客
03-01 3897
后面加上pretty，能让返回的json格式化。
Elasticsearch搜索引擎之缓存：Request Cache、Query Cache、Fielddata Cache
热门推荐
张维鹏的博客
06-20 1万+
ElasticSearch 查询需要占用 CPU、内存资源，在复杂业务场景，会出现慢查询，需要花费大量的时间。为了提高系统的性能，除了增加集群硬件配置这种成本高昂的开销外，还可以使用 ES 的缓存，下面我们就介绍几种 ES 中常用的缓存。 一、Request cache： 1、什么是 Request cache： Request Cache，全称是 Shard Request Cache，即分片级请求缓存。当对一个或多个索引发送搜索请求时，搜索请求首先会发送到ES集...
elasticsearch 查看集群状态 节点状态 和索引使用情况
Angus
11-08 1万+
这篇文章主要讲使用es自带的api，来查看集群的状态，分片的情况，索引的情况。 一、简述 ES监控的最主要作用是用于监控ES的服务是否正常运行，以及在出现问题时为提供解决问题提供依据。目前ES监控主要针对三个级别分别是：集群级别、节点级别和索引级别。 集群级别的监控主要是针对整个ES集群来说，包括集群的健康状况、集群的状态等。 节点级别的监控主要是针对每个ES实例的监控，其中包括每个实例的查询索引指标和物理资源使用指标。 索引级别的监控主要是针对每个索引来说，主要包括每个索引的性能指标，由于是针对每个.
elasticsearch-rest-client 判断索引是否存在
05-24
要判断 Elasticsearch 中是否存在一个索引，可以使用 Elasticsearch REST 客户端的 Indices API。 具体来说，可以使用 `HEAD` 请求方法请求该索引的 URL，如果返回的状态码为 `200`，则说明索引存在；如果返回的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值