Elasticsearch Tasks管理手册

已于 2022-09-16 21:17:45 修改
阅读量1.1k 收藏 2
点赞数
分类专栏： Elasticsearch运维 文章标签： elasticsearch 搜索引擎 big data 数据库架构 dba
于 2022-06-09 21:35:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25241721/article/details/125211519
版权

文章目录

Elasticsearch Tasks管理

1. 查询Tasks

Tasks管理 API 返回有关当前在集群中的一个或多个节点上执行的Tasks的信息。如果启用了 Elasticsearch 安全功能，则必须具有monitor或 manage 集群权限才能使用此 API。

基本语法：
	GET /_tasks/<task_id>
	GET /_tasks
	
可选参数：
	<task_id>：（可选，字符串）要返回的Tasks的 ID ( node_id:task_number)。
	actions：  （可选，字符串）用于限制请求的操作的逗号分隔列表或通配符表达式。省略此参数以返回所有操作。
	detailed： （可选，布尔值）如果true，则响应包含有关分片恢复的详细信息。默认为false.
	group_by： （可选，字符串）用于在响应中对Tasks进行分组的键。值可为节点ID的nodes、父TasksID的parents以及不要将Tasks分组的none选项。
	node_id：  （可选，字符串）用于限制返回信息的节点 ID 或名称的逗号分隔列表。
	parent_task_id：（可选，字符串）用于限制返回信息的父Tasks ID。要返回所有Tasks，请省略此参数或使用-1.
	master_timeout：（可选，时间单位）等待连接到主节点的时间段。如果在超时到期之前没有收到响应，则请求失败并返回错误。默认为 30s.
	timeout：  （可选，时间单位）等待响应的时间段。如果在超时到期之前没有收到响应，则请求失败并返回错误。默认为30s.
	wait_for_completion：（可选，布尔值）如果true，请求会阻塞，直到操作完成。默认为false.

1. 列出集群中的所有Tasks

# 示例1：列出集群中的所有Tasks
# curl -X GET "<ES_HOST>:<ES_PORT>/_cat/tasks?detailed&pretty"
...
1626071368472 14:29:28 1h          <ES_HOST> <ES_HOST>-<ES_PORT> indices[idx-receiver-message-8], types[], search_type[QUERY_THEN_FETCH], source[{
   "query":{
   "bool":{
   "must":[{
   "bool":{
   "should":[{
   "term":{
   "messageTypeId":{
   "value":1,"boost":1.0}}},{
   "term":{
   "messageTypeId":{
   "value":8,"boost":1.0}}},{
   "term":{
   "messageTypeId":{
   "value":6,"boost":1.0}}},{
   "term":{
   "messageTypeId":{
   "value":5,"boost":1.0}}},{
   "term":{
   "messageTypeId":{
   "value":31,"boost":1.0}}}],"adjust_pure_negative":true,"boost":1.0}},{
   "bool":{
   "should":[{
   "wildcard":{
   "messageTitle.keyword":{
   "wildcard":"*02505520250284839.8408285082685082684028850258208.26582268250092518509480092590868522588158625505177284,582480.9582548,+74852.9680804]]]*","boost":1.0}}}],"adjust_pure_negative":true,"boost":1.0}}],"filter":[{
   "term":{
   "messageReceiverId":{
   "value":"1500000100079250006","boost":1.0}}},{
   "term":{
   "messageDeleteFlag":,{
   "term":{
   "messageDeleteFlag":{
   "value":0,"boost":1.0}}}],"adjust_pure_negative":true,"boost":1.0}}}]
...
cluster:monitor/tasks/lists[n]        mzRuQoWKS1qyedpo1cBslQ:399587410 c4caXoXdT1iMKt8Q0j4zvA:487053745 netty     1626075016906 15:30:16 146micros   <ES_HOST> <ES_HOST>-<ES_PORT> 



# curl -X GET "<ES_HOST>:<ES_PORT>/_tasks?pretty"
...
...
        "c4caXoXdT1iMKt8Q0j4zvA:486794600" : {
   
          "node" : "c4caXoXdT1iMKt8Q0j4zvA",
          "id" : 486794600,
          "type" : "transport",
          "action" : "indices:data/write/update/byquery",
          "start_time_in_millis" : 1626071434300,
          "running_time_in_nanos" : 2577895144961,
          "cancellable" : true
        },
        "c4caXoXdT1iMKt8Q0j4zvA:486847848" : {
   
          "node" : "c4caXoXdT1iMKt8Q0j4zvA",
          "id" : 486847848,
          "type" : "transport",
          "action" : "indices:data/read/search",
          "start_time_in_millis" : 1626073170216,
          "running_time_in_nanos" : 841978830953,
          "cancellable" : true
        },
        "c4caXoXdT1iMKt8Q0j4zvA:486827368" : {
   
          "node" : "c4caXoXdT1iMKt8Q0j4zvA",
          "id" : 486827368,
          "type" : "transport",
          "action" : "indices:data/write/update/byquery",
          "start_time_in_millis" : 1626072450210,
          "running_time_in_nanos" : 1561985206301,
          "cancellable" : true
        },
...

2. 列出集群中待处理的Tasks

返回尚未执行的任何集群级别更改（例如创建索引、更新映射、分配或失败分片）的列表。这些与Tasks管理 API报告的Tasks不同， 其中包括定期Tasks和用户发起的Tasks，例如节点统计、搜索查询或创建索引请求。但是，如果用户启动的Tasks（例如 create index 命令）导致集群状态更新，则此Tasks的活动可能会同时由Tasks API 和待处理的集群Tasks API 报告。

# 示例1：列出集群中待处理的Tasks
# curl '<ES_HOST>:<ES_PORT>/_cat/pending_tasks?v'
{
   
   "tasks": [
      {
   
         "insert_order": 101,
         "priority": "URGENT",
         "source": "create-index [foo_9], cause [api]",
         "executing" : true,
         "time_in_queue_millis": 86,
         "time_in_queue": "86ms"
      },
      {
   
         "insert_order": 46,
         "priority": "HIGH",
         "source": "shard-started ([foo_2][1], node[tMTocMvQQgGCkj7QDHl3OA], [P], s[INITIALIZING]), reason [after recovery from shard_store]",
         "executing" : false,
         "time_in_queue_millis": 842,
         "time_in_queue": "842ms"
      },
      {
   
         "insert_order": 45,
         "priority": "HIGH",
         "source": "shard-started ([foo_2][0], node[tMTocMvQQgGCkj7QDHl3OA], [P], s[INITIALIZING]), reason [after recovery from shard_store]",
         "executing" : false,
         "time_in_queue_millis": 858,
         "time_in_queue": "858ms"
      }
  ]
}


注1：输出列表释义如下：
	tasks：（对象）待处理Tasks的列表。
	insert_order：（整数）表示Tasks何时被插入Tasks队列的数字。
	priority：（字符串）待处理Tasks的优先级。按优先级降序排列的有效优先级是：IMMEDIATE> URGENT> HIGH> NORMAL> LOW> LANGUID。
	source：（字符串）集群Tasks的一般描述，可能包括原因和来源。
	executing：（布尔值）真或假，指示待处理的Tasks当前是否正在执行。
	time_in_queue_millis：（整数）自Tasks等待执行以来以毫秒表示的时间。
	time_in_queue：（字符串）自Tasks等待执行以来的时间。

注2：大部分情况下该请求将返回一个空列表，因为集群级别的更改很快。

3. 查询指定节点上的Tasks

# 示例1：查询指定节点上的Tasks

1)查看集群节点信息

# curl -XGET  http://<ES_HOST>:<ES_PORT>/_cluster/state/nodes?pretty
{
   
  "cluster_name" : "aimescenter_es_cluster",
  "compressed_size_in_bytes" : 10100,
  "nodes" : {
   
    "c4caXoXdT1iMKt8Q0j4zvA" : {
   
      "name" : "<ES_HOST>-<ES_PORT>",
      "ephemeral_id" : "_NHgESJsQSqo92S4Mss7Wg",
      "transport_address" : "<ES_HOST>:10702",
      "attributes" : {
    }
    },
    "V8J66mq3ScaRtOh-b9u0Fw" : {
   
      "name" : "<ES_HOST>-<ES_PORT>",
      "ephemeral_id" : "UgB2-d_MR8eB32RR1SoAxA",
      "transport_address" : "<ES_HOST>:10702",
      "attributes" : {
    }
    },
    "mzRuQoWKS1qyedpo1cBslQ" : {
   
      "name" : "<ES_HOST>-<ES_PORT>",
      "ephemeral_id" : "fTFsKczSRWyEfLF6-CwCdQ",
      "transport_address" : "<ES_HOST>:10702",
      "attributes" : {
    }
    }
  }
}

2）查看ES节点 c4caXoXdT1iMKt8Q0j4zvA 和ES节点 V8J66mq3ScaRtOh-b9u0Fw 以及ES节点 mzRuQoWKS1qyedpo1cBslQ 上的Tasks

# curl -X GET "<ES_HOST>:<ES_PORT>/_tasks?nodes=c4caXoXdT1iMKt8Q0j4zvA,V8J66mq3ScaRtOh-b9u0Fw,mzRuQoWKS1qyedpo1cBslQ&pretty"
...
        "mzRuQoWKS1qyedpo1cBslQ:399389497" : {
   
          "node" : "mzRuQoWKS1qyedpo1cBslQ",
          "id" : 399389497,
          "type" : "netty",
          "action" : "indices:data/read/search[phase/query]",
          "start_time_in_millis" : 1626073963679,
          "running_time_in_nanos" : 211179961755,
          "cancellable" : true,
          "parent_task_id" : "V8J66mq3ScaRtOh-b9u0Fw:438188531"
        },
        "mzRuQoWKS1qyedpo1cBslQ:399297851" : {
   
          "node" : "mzRuQoWKS1qyedpo1cBslQ",
          "id" : 399297851,
          "type" : "netty",
          "action" : "indices:data/read/search[phase/query]",
          "start_time_in_millis" : 1626071370660,
          "running_time_in_nanos" : 2804198282917,
          "cancellable" : true,
          "parent_task_id" : "c4caXoXdT1iMKt8Q0j4zvA:486792710"
        },
        "mzRuQoWKS1qyedpo1cBslQ:399293627" : {
   
          "node" : "mzRuQoWKS1qyedpo1cBslQ",
          "id" : 399293627,
          "type" : "transport",
          "action" : "indices:data/read/search",
          "start_time_in_millis" : 1626071065241,
          "running_time_in_nanos" : 3109617153826,
          "cancellable" : true
        },
        "mzRuQoWKS1qyedpo1cBslQ:399297595" : {
   
          "node" : "mzRuQoWKS1qyedpo1cBslQ",
          "id" : 399297595,
          "type" : "netty",
          "action" : "indices:data/read/search[phase/query]",
          "start_time_in_millis" : 1626071345633,
          "running_time_in_nanos" : 2829225970931,
          "cancellable" : true,
          "parent_task_id" : "V8J66mq3ScaRtOh-b9u0Fw:438190174"
        },
        "mzRuQoWKS1qyedpo1cBslQ:399297716" : {
   
          "node" : "mzRuQoWKS1qyedpo1cBslQ",
          "id" : 399297716,
          "type" : "netty",
          "action" : "indices:data/read/search[phase/query]",
          "start_time_in_millis" : 1626071356774,
          "running_time_in_nanos" : 2818084748838,
          "cancellable" : true,
          "parent_task_id" : "c4caXoXdT1iMKt8Q0j4zvA:486792430"
        },
        "mzRuQoWKS1qyedpo1cBslQ:399297460" : {
   
          "node" : "mzRuQoWKS1qyedpo1cBslQ",
          "id" : 399297460,
          "type" : "netty",
          "action" : "indices:data/read/search[phase/query]",
          "start_time_in_millis" : 1626071336608,
          "running_time_in_nanos" : 2838251103151,
          "cancellable" : true,
          "parent_task_id" : "V8J66mq3ScaRtOh-b9u0Fw:438190009"
        },
        "mzRuQoWKS1qyedpo1cBslQ:399297461" : {
   
          "node" : "mzRuQoWKS1qyedpo1cBslQ",
          "id" : 399297461,
          "type" : "netty",
          "action" : "indices:data/read/search[phase/query]",
          "start_time_in_millis" : 1626071336608,
          "running_time_in_nanos" : 2838251098986,
          "cancellable" : true,
          "parent_task_id" : "V8J66mq3ScaRtOh-b9u0Fw:438190009"
        },
        "mzRuQoWKS1qyedpo1cBslQ:399297462" : {
   
          "node" : "mzRuQoWKS1qyedpo1cBslQ",
          "id" : 399297462,
          "type" : "netty",
          "action" : "indices:data/read/search[phase/query]",
          "start_time_in_millis" : 1626071336608,
          "running_time_in_nanos" : 2838251079137,
          "cancellable" : true,
          "parent_task_id" : "V8J66mq3ScaRtOh-b9u0Fw:438190009"
        },
        "mzRuQoWKS1qyedpo1cBslQ:399297714" : {
   
          "node" : "mzRuQoWKS1qyedpo1cBslQ",
          "id" : 399297714,
          "type" : "netty",
          "action" : "indices:data/read/search[phase/query]",
          "start_time_in_millis" : 1626071356774,
          "running_time_in_nanos" : 2818084940419,
          "cancellable" : true,
          "parent_task_id" : "c4caXoXdT1iMKt8Q0j4zvA:486792430"
        },
        "mzRuQoWKS1qyedpo1cBslQ:399297715" : {
   
          "node" : "mzRuQoWKS1qyedpo1cBslQ",
          "id" : 399297715,
          "type" : "netty",
          "action" : "indices:data/read/search[phase/query]",
          "start_time_in_millis" :
最低0.47元/天 解锁文章
Zhi@Li
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Elasticsearch Indexes管理手册
qq_25241721的博客
06-09 101
*强制合并可能会导致生成非常大（>5GB）的段，如果您继续写入这样的Indexes，那么自动合并策略将永远不会考虑这些段以进行未来的合并，直到它们主要由已删除的文档组成。如果您在Indexes某些文档后调用Flush API，则成功的响应表明 Elasticsearch 已刷新在调用Flush API 之前Indexes的所有文档。在打开或关闭Indexes时，master 负责重新启动Indexes分片以反映Indexes的新状态。然后使用删除Indexes API 删除之前的写入Indexes。
elasticsearch7.x集群API之tasks
荣耀之路
09-24 4513
tasks
es常见命令
CAO的专栏
12-20 2687
1、查询task curl -XGET "localhost:9210/_tasks?detailed=true&actions=*/delete/byquery&pretty" 2、取消task curl -X POST "localhost:9210/_tasks/3E8fPHtLT42O8p16b4cqrA:1863557501/_cancel" 3、取消只读 cu...
elasticsearch部分常用操作
UnicornRe_xiabin_无聊的时候，喜欢去超市买一大瓶纯牛奶，喝个精光
12-06 2382
文章目录集群搭建7.4.1版本,配置linux优化索引映射创建，优化创建索引es_persist_3创建映射mapping es_persist_3创建索引 es_persist_4创建mapping es_persist_4es的常用指令跨集群数据迁移reindex迁移reindex取消命令reindex查看进度(可以看到node_id:task_id,任务数等)冷数据备份快照到磁盘集群安全重启 集群搭建7.4.1版本,配置 3台机器组成一个集群，分别为：a,b,c a: 编辑a的config/elast
Elasticsearch 的 Task 停止方法
qq_39413027的博客
10-27 3689
elasticsearch 在执行一下耗时的 task ,中途如果想要取消该task。列入reindex 任务比较耗时，但是中途得取消该任务。查看task的详情，确定是否为要cancel的task。首先查询reindex任务的task。
elasticsearch reindex task 小笔记
u012463871的博客
03-30 825
# 使用 kibana 的案例数据来做演示。把索引 kibana_sample_data_logs 的数据复制到索引 kibana_sample_data_logs 中 POST _reindex?requests_per_second=100&slices=3 { "source": { "index": "kibana_sample_data_logs" }, "dest": { "index": "kibana_sample_data_logs_01" } }.
ES task管理
weixin_34148456的博客
11-10 930
Task Management API The Task Management API is new and should still be considered a beta feature. The API may change in ways that are not backwards compatible Current...
Cerebro 安装包 Elasticsearch web管理工具
03-14
Cerebro是一个使用Scala，Play Framework，AngularJS和Bootstrap构建的开源（MIT许可）elasticsearch web管理工具，比Kibana轻量很多，很适用与生产和测试等环境的es集群管理。
Elasticsearch 开发手册
09-08
Elasticsearch 开发手册 Elasticsearch 是一个开源的、高扩展的、分布式的、提供多用户能力的全文搜索引擎，也是一个基于 Lucene 搜索的服务器，可以近乎实时地存储和搜索数据。Elasticsearch 能很方便地用于对大量...
Java基于elasticsearch实现集群管理
08-25
Java基于Elasticsearch实现集群管理 Elasticsearch是一款功能强大且流行的搜索引擎，广泛应用于大数据搜索、日志分析、商业智能等领域。Java作为一种广泛使用的编程语言，经常与Elasticsearch集成以实现搜索、数据...
Elasticsearch7.14.0+thinkphp5.1后台管理索引和文档+权限管理
09-04
Elasticsearch+thinkphp5.1后台管理索引和文档+权限管理，可查看https://blog.csdn.net/weixin_39934453/article/details/120097526
基于Elasticsearch Java API的参考手册
04-29
**Elasticsearch Java API详解** Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，广泛应用于大数据领域的...这份"基于Elasticsearch Java API的参考手册"将提供详细指南，帮助开发者掌握这些关键技能。
Elasticsearch（ES）性能调优常用技巧
Java搜索工程技术栈
04-04 3895
目录 一、配置文件调优 内存锁定 zen.discovery 故障检测（ fault detection ） 队列数量 内存使用 创建shard 二、系统层面调优 jdk版本 jdk内存配置 交换分区 文件句柄 mmap 磁盘 磁盘挂载 磁盘其他注意事项 三、elasticsearch使用方式调优 hot_threads pending_tasks 字段存储 translog refresh_interval 禁止动态mapping 批量写入 索引和shar
ElasticSearch学习文档
Gandalf_z的博客
03-06 834
@author Gandalf 介绍 ES是什么 Elasticsearch实时的分布式全文搜索分析引擎，内部使用Lucene做索引与搜索，开发语言为Java 全文：对全部的文本内容进行分析，建立索引，使之可以被搜索 实时：新增到 ES 中的数据在1秒后就可以被检索到，这种新增数据对搜索的可见性称为“准实时/近实时搜索”。 分布式：可以动态调整集群规模，弹性扩容 Github：https://github.com/elastic/elasticsearch 可以做什么 搜索：搭建搜索引擎（类似百度、谷.
ElasticSearch之Task management API
Jackie的家
12-09 86
ElasticSearch之Task management API
Elasticsearch(2) Elasticsearch操作api
RichardGeek的博客
10-14 494
相关概念 Near Realtime（近实时）：Elasticsearch是一个近乎实时的搜索平台，这意味着从索引文档到可搜索文档之间只有一个轻微的延迟(通常是一秒钟)。 Cluster（集群）：群集是一个或多个节点的集合，它们一起保存整个数据，并提供跨所有节点的联合索引和搜索功能。每个群集都有自己的唯一群集名称，节点通过名称加入群集。 Node（节点）：节点是指属于集群的单个Elasticsearch实例，存储数据并参与集群的索引和搜索功能。可以将节点配置为按集群名称加入特定集群，默认情况下，每..
ES 常用查询命令汇总
大叶子不小的博客
05-16 3995
cat系列提供了一系列查询。二：_cluster系列。1、查询设置集群状态。三：_nodes系列。
ES中Root mapping definition has unsupported parameters解决方案
最新发布
MADAO的博客
07-14 457
ES中Root mapping definition has unsupported parameters解决方案
Elasticsearch集群安全管理与实战指南
本文档深入探讨了Elasticsearch集群的管理和运维，特别是在面对大数据场景下的安全性和效率优化。首先，着重讲解了Elasticsearch集群的身份认证与用户鉴权，指出在默认安装情况下，Elasticsearch缺乏必要的安全性，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Zhi@Li

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值