Elasticsearch 索引容量管理实践

最新推荐文章于 2024-02-21 09:05:16 发布
最新推荐文章于 2024-02-21 09:05:16 发布
阅读量849 收藏 3
点赞数

作者：gavinyao，腾讯 PCG 后台开发工程师

Elasticsearch 是目前大数据领域最热门的技术栈之一，腾讯云 Elasticsearch Service（ES）是基于开源搜索引擎 Elasticsearch 打造的高可用、可伸缩的云端全托管 Elasticsearch 服务，完善的高可用解决方案，让业务可以放心的把重要数据存储到腾讯云 ES 中。

了解 ES 的索引管理方法有助于扬长避短，更好的利用 ES 的强大功能，特别是当遇到性能问题时，原因通常都可回溯至数据的索引方式以及集群中的分片数量。如果未能在一开始做出最佳选择，随着数据量越来越大，便有可能会引发性能问题。集群中的数据越多，要纠正这一问题就越难，本文旨在帮助大家了解 ES 容量管理的方法，在一开始就管理好索引的容量，避免给后面留坑。

1. 为什么要做索引容量管理

  • 在生产环境使用 ES 要面对的第一个问题通常是索引容量的规划，不合理的分片数，副本数和分片大小会对索引的性能产生直接的影响；

  • Elasticsearch 中的每个索引都由一个或多个分片组成的，每个分片都是一个 Lucene 索引实例，您可以将其视作一个独立的搜索引擎，它能够对 Elasticsearch 集群中的数据子集进行索引并处理相关查询；

  • 查询和写入的性能与索引的大小是正相关的，所以要保证高性能，一定要限制索引的大小，具体来说是限制分片数量和单个分片的大小；

  • 关于分片数量，索引大小的问题这里不再赘述，可以参考 ES 官方 blog 《我在 Elasticsearch 集群内应该设置多少个分片？》；

  • 直接说结论：ES 官方推荐分片的大小是 20G - 40G，最大不能超过 50G。

本文介绍 3 种管理索引容量的方法，从这 3 种方法可以了解到 ES 管理索引容量的演进过程：

2. 方法 1: 使用在索引名称上带上时间的方法管理索引

2.1 创建索引

索引名上带日期的写法：

<static_name{date_math_expr{date_format|time_zone}}>

日期格式就是 java 的日期格式:

yyyy：年
MM：月
dd：日
hh：1~12小时制(1-12)
HH：24小时制(0-23)
mm：分
ss：秒
S：毫秒
E：星期几
D：一年中的第几天
F：一月中的第几个星期(会把这个月总共过的天数除以7)
w：一年中的第几个星期
W：一月中的第几星期(会根据实际情况来算)
a：上下午标识
k：和HH差不多，表示一天24小时制(1-24)。
K：和hh差不多，表示一天12小时制(0-11)。
z：表示时区

参考官方文档：Date math support in index names。

例如：

<logs-{now{yyyyMMddHH|+08:00}}-000001>

在使用的时候,索引名要 urlencode 后再使用：

PUT /%3Cmylogs-%7Bnow%7ByyyyMMddHH%7C%2B08%3A00%7D%7D-000001%3E{  "aliases": {  "mylogs-read-alias": {}  }}

执行结果：

{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "mylogs-2020061518-000001"
}
2.2 写入数据

写入数据的时候也要带上日期：

POST /%3Cmylogs-%7Bnow%7ByyyyMMddHH%7C%2B08%3A00%7D%7D-000001%3E/_doc
{"name":"xxx"}

执行结果:

{
  "_index" : "mylogs-2020061518-000001",
  "_type" : "_doc",
  "_id" : "VNZut3IBgpLCCHbxDzDB",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}
2.3 查询数据

由于数据分布在多个索引里，查询的时候要在符合条件的所有索引查询，可以使用下面的方法查询。

2.3.1 使用逗号分割指定多个索引
GET /mylogs-2020061518-000001,mylogs-2020061519-000001/_search
{"query":{"match_all":{}}}
2.3.2 使用通配符查询
GET /mylogs-*/_search
{
  "query": {
    "match_all": {}
  }
}

执行结果：

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "mylogs-2020061518-000001",
        "_type" : "_doc",
        "_id" : "VNZut3IBgpLCCHbxDzDB",
        "_score" : 1.0,
        "_source" : {
          "name" : "xxx"
        }
      }
    ]
  }
}
2.3.3 使用别名查询
GET /mylogs-read-alias/_search
{
  "query": {
    "match_all": {}
  }
}

执行结果同上。

2.4 使用带日期的索引名称的缺陷

这个方法的优点是比较直观能够通过索引名称直接分辨出数据的新旧，缺点是：

  • 不是所有数据都适合使用时间分割，对于写入之后还有修改的数据不适合；

  • 直接使用时间分割也可能存在某段时间数据量集中，导致索引分片超过设计容量的问题，从而影响性能；

  • 为了解决上述问题还需要配合 rollover 策略使用，索引的维护比较复杂。

3. 方法 2: 使用 Rollover 管理索引

Rollover 的原理是使用一个别名指向真正的索引，当指向的索引满足一定条件（文档数或时间或索引大小）更新实际指向的索引。

3.1 创建索引并且设置别名

注意： 索引名称的格式为 {.*}-d 这种格式的，数字默认是 6 位：

PUT myro-000001
{
  "aliases": {
    "myro_write_alias":{}
  }
}
3.2 通过别名写数据

使用 bulk 一次写入了 3 条记录：

POST /myro_write_alias/_bulk?refresh=true
{"create":{}}
{"name":"xxx"}
{"create":{}}
{"name":"xxx"}
{"create":{}}
{"name":"xxx"}

执行结果：

{
  "took" : 37,
  "errors" : false,
  "items" : [
    {
      "create" : {
        "_index" : "myro-000001",
        "_type" : "_doc",
        "_id" : "wVvFtnIBUTVfQxRWwXyM",
        "_version" : 1,
        "result" : "created",
        "forced_refresh" : true,
        "_shards" : {
          "total" : 2,
          "successful" : 2,
          "failed" : 0
        },
        "_seq_no" : 0,
        "_primary_term" : 1,
        "status" : 201
      }
    },
    {
      "create" : {
        "_index" : "myro-000001",
        "_type" : "_doc",
        "_id" : "wlvFtnIBUTVfQxRWwXyM",
        "_version" : 1,
        "result" : "created",
        "forced_refresh" : true,
        "_shards" : {
          "total" : 2,
          "successful" : 2,
          "failed" : 0
        },
        "_seq_no" : 1,
        "_primary_term" : 1,
        "status" : 201
      }
    },
    {
      "create" : {
        "_index" : "myro-000001",
        "_type" : "_doc",
        "_id" : "w1vFtnIBUTVfQxRWwXyM",
        "_version" : 1,
        "result" : "created",
        "forced_refresh" : true,
        "_shards" : {
          "total" : 2,
          "successful" : 2,
          "failed" : 0
        },
        "_seq_no" : 2,
        "_primary_term" : 1,
        "status" : 201
      }
    }
  ]
}

记录都写到了 myro-000001 索引下。

3.3 执行 rollover 操作

rollover 的 3 个条件是并列关系，任意一个条件满足就会发生 rollover：

POST /myro_write_alias/_rollover
{
  "conditions": {
    "max_age":   "7d",
    "max_docs":  3,
    "max_size": "5gb"
  }
}

执行结果：

{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "old_index" : "myro-000001",
  "new_index" : "myro-000002",
  "rolled_over" : true,
  "dry_run" : false,
  "conditions" : {
    "[max_docs: 3]" : true,
    "[max_size: 5gb]" : false,
    "[max_age: 7d]" : false
  }
}

分析一下执行结果：

 "new_index" : "myro-000002"
 "[max_docs: 3]" : true,

从结果看出满足了条件（"[max_docs: 3]" : true）发生了 rollover，新的索引指向了 myro-000002。

再写入一条记录：

POST /myro_write_alias/_doc
{"name":"xxx"}

已经写入了新的索引,结果符合预期：

{
  "_index" : "myro-000002",
  "_type" : "_doc",
  "_id" : "BdbMtnIBgpLCCHbxhihi",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}
3.4 使用 Rollover 的缺点

  • 必须明确执行了 rollover 指令才会更新 rollover 的别名对应的索引；

  • 通常可以在写入数据之后 再执行一下 rollover 命令，或者采用配置系统 cron 脚本的方式；

  • 增加了使用的 rollover 的成本，对于开发者来说不够自动化。

4. 方法 3: 使用 ILM（Index Lifecycle Management ） 管理索引

ES 一直在索引管理这块进行优化迭代，从 6.7 版本推出了索引生命周期管理（Index Lifecycle Management ，简称 ILM)机制，是目前官方提供的比较完善的索引管理方法。所谓 Lifecycle(生命周期)是把索引定义了四个阶段：

lifecycle

  • Hot：索引可写入，也可查询，也就是我们通常说的热数据，为保证性能数据通常都是在内存中的；

  • Warm：索引不可写入，但可查询，介于热和冷之间，数据可以是全内存的，也可以是在 SSD 的硬盘上的；

  • Cold：索引不可写入，但很少被查询，查询的慢点也可接受，基本不再使用的数据，数据通常在大容量的磁盘上；

  • Delete：索引可被安全的删除。

这 4 个阶段是 ES 定义的一个索引从生到死的过程, Hot -> Warm -> Cold -> Delete 4 个阶段只有 Hot 阶段是必须的，其他 3 个阶段根据业务的需求可选。

使用方法通常是下面几个步骤：

4.1 建立 Lifecycle 策略

这一步通常在 Kibana 上操作，需要的时候再导出 ES 语句，例如下面这个策略：

在 Kibina 中创建 lifecycle 策略

  • 暂时只配置了 Hot 阶段；

  • 为了方便验证，最大文档数(max_docs) 超过 2 个时就 rollover。

导出的语句如下：

PUT _ilm/policy/myes-lifecycle
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "rollover": {
            "max_age": "30d",
            "max_size": "50gb",
            "max_docs": 2
          },
          "set_priority": {
            "priority": 100
          }
        }
      }
    }
  }
}
4.2 建立索引模版

ES 语句如下：

PUT /_template/myes_template
{
  "index_patterns": [
    "myes-*"
  ],
  "aliases": {
    "myes_reade_alias": {}
  },
  "settings": {
    "index": {
      "lifecycle": {
        "name": "myes-lifecycle",
        "rollover_alias": "myes_write_alias"
      },
      "refresh_interval": "30s",
      "number_of_shards": "12",
      "number_of_replicas": "1"
    }
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "keyword"
      }
    }
  }
}

:warning:注意:

  • 模版匹配以索引名称 myes- 开头的索引；

  • 所有使用此模版创建的索引都有一个别名 myes_reade_alias 用于方便查询数据；

  • 模版绑定了上面创建的 Lifecycle 策略，并且用于 rollover 的别名是 myes_write_alias。

4.3 创建索引

ES 语句：

PUT /myes-testindex-000001
{
  "aliases": {
    "myes_write_alias":{}
  }
}

:warning:注意:

  • 索引的名称是 .*-d 的形式；

  • 索引的别名用于 lifecycle 做 rollover。

4.4 查看索引配置
GET /myes-testindex-000001
{}

执行结果：

{
  "myes-testindex-000001" : {
    "aliases" : {
      "myes_reade_alias" : { },
      "myes_write_alias" : { }
    },
    "mappings" : {
      "dynamic_templates" : [
        {
          "message_full" : {
            "match" : "message_full",
            "mapping" : {
              "fields" : {
                "keyword" : {
                  "ignore_above" : 2048,
                  "type" : "keyword"
                }
              },
              "type" : "text"
            }
          }
        },
        {
          "message" : {
            "match" : "message",
            "mapping" : {
              "type" : "text"
            }
          }
        },
        {
          "strings" : {
            "match_mapping_type" : "string",
            "mapping" : {
              "type" : "keyword"
            }
          }
        }
      ],
      "properties" : {
        "name" : {
          "type" : "keyword"
        }
      }
    },
    "settings" : {
      "index" : {
        "lifecycle" : {
          "name" : "myes-lifecycle",
          "rollover_alias" : "myes_write_alias"
        },
        "refresh_interval" : "30s",
        "number_of_shards" : "12",
        "translog" : {
          "sync_interval" : "5s",
          "durability" : "async"
        },
        "provided_name" : "myes-testindex-000001",
        "max_result_window" : "65536",
        "creation_date" : "1592222799955",
        "unassigned" : {
          "node_left" : {
            "delayed_timeout" : "5m"
          }
        },
        "priority" : "100",
        "number_of_replicas" : "1",
        "uuid" : "tPwDbkuvRjKtRHiL4fKcPA",
        "version" : {
          "created" : "7050199"
        }
      }
    }
  }
}

:warning:注意:

  • 索引使用了之前建立的索引模版；

  • 索引绑定了 lifecycle 策略并且写入别名是 myes_write_alias。

4.5 写入数据
POST /myes_write_alias/_bulk?refresh=true
{"create":{}}
{"name":"xxx"}
{"create":{}}
{"name":"xxx"}
{"create":{}}
{"name":"xxx"}

执行结果:

{
  "took" : 18,
  "errors" : false,
  "items" : [
    {
      "create" : {
        "_index" : "myes-testindex-000001",
        "_type" : "_doc",
        "_id" : "jF3it3IBUTVfQxRW1Xys",
        "_version" : 1,
        "result" : "created",
        "forced_refresh" : true,
        "_shards" : {
          "total" : 2,
          "successful" : 2,
          "failed" : 0
        },
        "_seq_no" : 0,
        "_primary_term" : 1,
        "status" : 201
      }
    },
    {
      "create" : {
        "_index" : "myes-testindex-000001",
        "_type" : "_doc",
        "_id" : "jV3it3IBUTVfQxRW1Xys",
        "_version" : 1,
        "result" : "created",
        "forced_refresh" : true,
        "_shards" : {
          "total" : 2,
          "successful" : 2,
          "failed" : 0
        },
        "_seq_no" : 0,
        "_primary_term" : 1,
        "status" : 201
      }
    },
    {
      "create" : {
        "_index" : "myes-testindex-000001",
        "_type" : "_doc",
        "_id" : "jl3it3IBUTVfQxRW1Xys",
        "_version" : 1,
        "result" : "created",
        "forced_refresh" : true,
        "_shards" : {
          "total" : 2,
          "successful" : 2,
          "failed" : 0
        },
        "_seq_no" : 0,
        "_primary_term" : 1,
        "status" : 201
      }
    }
  ]
}

:warning:注意:

  • 3 条记录都写到了 myes-testindex-000001 中, Lifecycle 策略明明设置的是 2 条记录就 rollover 为什么会三条都写到同一个索引了呢?

再次执行上面的语句，写入 3 条记录发现新的数据都写到了 myes-testindex-000002 中, 结果符合预期。

{
  "took" : 17,
  "errors" : false,
  "items" : [
    {
      "create" : {
        "_index" : "myes-testindex-000002",
        "_type" : "_doc",
        "_id" : "yl0JuHIBUTVfQxRWvsv5",
        "_version" : 1,
        "result" : "created",
        "forced_refresh" : true,
        "_shards" : {
          "total" : 2,
          "successful" : 2,
          "failed" : 0
        },
        "_seq_no" : 0,
        "_primary_term" : 1,
        "status" : 201
      }
    },
    {
      "create" : {
        "_index" : "myes-testindex-000002",
        "_type" : "_doc",
        "_id" : "y10JuHIBUTVfQxRWvsv5",
        "_version" : 1,
        "result" : "created",
        "forced_refresh" : true,
        "_shards" : {
          "total" : 2,
          "successful" : 2,
          "failed" : 0
        },
        "_seq_no" : 0,
        "_primary_term" : 1,
        "status" : 201
      }
    },
    {
      "create" : {
        "_index" : "myes-testindex-000002",
        "_type" : "_doc",
        "_id" : "zF0JuHIBUTVfQxRWvsv5",
        "_version" : 1,
        "result" : "created",
        "forced_refresh" : true,
        "_shards" : {
          "total" : 2,
          "successful" : 2,
          "failed" : 0
        },
        "_seq_no" : 0,
        "_primary_term" : 1,
        "status" : 201
      }
    }
  ]
}

:warning:注意:如果按照这个步骤没有发生自动 rollover 数据仍然写到了 myes-testindex-000001 中，需要 配置 Lifecycle 自动 Rollover 的时间间隔, 参考下文。

4.6 配置 Lifecycle 自动 Rollover 的时间间隔

  • 由于 ES 是一个准实时系统，很多操作都不能实时生效；

  • Lifecycle 的 rollover 之所以不用每次手动执行 rollover 操作是因为 ES 会隔一段时间判断一次索引是否满足 rollover 的条件；

  • ES 检测 ILM 策略的时间默认为 10min。

修改 Lifecycle 配置：

PUT _cluster/settings
{
  "transient": {
    "indices.lifecycle.poll_interval": "3s"
  }
}

5. ES 在 QQ 家校群作业统计功能上的实践

疫情期间线上教学需求爆发，QQ 的家校群功能也迎来了一批发展红利，家校群的作业功能可以轻松在 QQ 群里实现作业布置，提交，批改等功能，深受师生们的喜爱。

5.1 使用场景简介

近期推出的作业统计功能，可以指定时间段+指定科目动态给出排名，有效提高了学生答题的积极性。在功能的实现上如果用传统的 SQL + KV 的方式实现成本比较高，要做到高性能也需要花不少精力，借助 ES 强大的统计聚合能力大大降低了开发成本，实现了需求的快速上线。



5.2 申请资源

  • ES 版本：7.5.1

  • 高级特性：腾讯云 ES 白金版

  • 单节点容量：1000GB

  • 节点数：3

  • 总容量：3000GB

5.3 索引使用方案

  • 按群尾号 % 100 把数据分为 100 个索引

  • 每个索引 12 个分片

  • 每 40000W（120GB）发生一次 Rollover

  • 单个分片最大大小 10GB

5.4 实际耗时情况

  • 插入：～ 25ms

  • 更新：～ 15ms

  • 聚合：200ms 以内


参考链接

腾讯技术工程
关注
ElasticSearch 索引设计指南
zhaohuodian的博客
09-05 2853
总结上述的实战，主要涉及到了三块：索引生命周期管理、索引 settings 设计管理、索引的 templates 管理，这几块既有配置类的设计管理，也有性能方面的考虑，还加入了生产中使用的 templates 进行设计管理，提升可维护性。并统一通过 airflow 定时任务进行自动化维护，保证了索引周期性设计的稳定性。
E往无前｜腾讯云大数据ES索引原理剖析及写入性能优化最佳实践
cloudbigdata的博客
06-29 2044
本文经过大量案例总结和踩坑复盘，归纳整理了Elastisearch集群在写入性能优化方面一些常用的优化技巧和避坑指南。
阿里云Elasticsearch智能存储引擎能力再升级，索引存储大小降低超40%！
阿里云开发者
05-29 115
在上周结束的Elastic中国开发者大会2023上，阿里云首次对外公开Elasticsearch全面Serverless化背后的产品技术架构，阿里云Elasticsearch依靠云原生底座技术升级，持续进行内核优化，并在日志场景大幅提升使用性价比，向用户提供更简单、更稳定、更弹性的搜索云服务。通过底层架构升级，进行运管平台云原生化升级，带来更加灵活的集群变更体验，推出的基于全新管控的7.16和8.5版本，集群创建时间最快可达5分钟。
说说你们公司Elasticsearch的集群架构，索引数据大小，分片有多少
最新发布
越努力越幸运。
02-21 606
这样的划分方式可以平衡负载，将搜索和更新请求分散到多个节点上，提高并发处理能力，从而提高搜索性能和可靠性。每个主分片都有一个对应的副本分片，共10个分片和10个副本分片。通过合理的索引和分片设计，我们实现了高效的搜索和数据分析能力，能够满足公司业务的需求。我们公司的Elasticsearch集群包含13个节点，这些节点分别负责不同的索引和分片。在集群的配置方面，每个节点都配备了高性能的处理器和大容量的存储器。我们还使用了Elasticsearch的优化版本，以确保系统的高效性和稳定性。
Elasticsearch索引建议
波波的专栏
04-01 8564
最近在做日志收集，用到Elasticsearch作为存储层。有一些使用小贴士
Elasticsearch索引分片的数量及大小分配策略
热门推荐
Elastic开源社区
10-20 1万+
Shard即数据分片，是ES的数据载体。在ES中数据分为primary shard（主分片）和replica shard（副本分片），每一个primary承载单个索引的一部分数据，分布于各个节点，replica为某个primary的副本，即备份。分片分配的原则是尽量均匀的分配在集群中的各个节点，以最大程度降低部分shard在出现意外时对整个集群乃至服务造成的影响。
ES的限制
abc_hom的博客
05-20 7647
1、单个索引里字段数量上限为1000 2、单个索引里文档数量上限为2,147,483,519 3、查询结果数量上限默认为10000
ElasticSearch倒排索引原理 数据的写入与查询过程
B-Duck-No1
08-26 2038
Elasticsearch在生产中充当的角色 业务上，最早启用Elasticsearch（下称ES）是为了解决模糊查询的问题。具体业务场景为大量抓取回来的短视频内容、热门微博、公众号文章、小红书笔记、信息流新闻文章等，需要支持用户模糊查找，而随着每日新增的内容越来越多，这些信息已经积累到单个媒体数千万近亿的数量，因此依靠MySQL的模糊查询是无法满足性能上的要求，考虑引入对应的搜索引擎来解决，于是...
Elasticsearch集群搭建、优化及实践
weixin_49076273的博客
03-06 1412
当索引足够大时，需要建立ES集群，此时需要将索引拆分成多分，分别放入不同的服务器中，几台服务器维护同一个索引。每一台服务器为一个节点，每一台服务器中的数据称为一个分片。防止节点故障导致集群无法正常运行，分片和该分片的副本不会存放在同一个节点上。安装完ES服务后，再安装分词器，然后修改ES的配置文件elasticsearch.yml，配置成集群的参数即可完成集群的搭建。安装Kibana需要修改Kibana的配置文件kiabana.yml，配置集群的连接即可。
2-8+Elasticsearch应用及平台建设实践.pdf
03-18
《Elasticsearch应用及平台建设实践》探讨了在58集团大数据平台中Elasticsearch的使用情况、集群优化治理、典型应用以及平台化的建设规划。Elasticsearch作为一个强大的分布式搜索和分析引擎，广泛应用于全文检索、...
Elasticsearch，Kibana 常用命令（2）
qq_33431394的博客
08-10 1181
1. 查看节点信息 GET _cat/nodes?v 2.索引 2.1创建test_kibana 索引 //number_of_shards 主分片数 //number_of_replicas 副分片数 PUT /test_kibana { "settings": { "number_of_shards" : 1 "number_of_replicas" : 0 } } 等同于 curl -XPUT "http://192.168.0
ElasticSearch常用查询命令查看基本信息
一直在水些技术小文
04-01 2056
查看es的集群状态 http://IP:9200/_cat/healthv 注: IP指es集群某个ip地址, v表示格式化输出 查看es集群节点列表 http://IP:9200/_cat/nodesv 查看es集群所有索引及数据大小 http://IP:9200/_cat/indicesv 查看单个索引结构信息 http://IP:9200/indexNamepretty=true 注: indexName是索引名字, pretty=true表示格式化输出 全词搜索 http://I.
elasticsearch-索引数量和分片大小设置
u013008898的博客
05-20 3463
索引数量根据业务需求来建 分片大小通常被设定为50G(适用于各种用例的限制)
如何提高ElasticSearch 索引速度
allwefantasy的专栏
03-07 550
我Google了下，大致给出的答案如下： 使用bulk API 初次索引的时候，把 replica 设置为 0 增大 threadpool.index.queue_size 增大 indices.memory.index_buffer_size 增大 index.translog.flush_threshold_ops 增大 index.translog...
ElasticSearch入门 第三篇：索引
weixin_34262482的博客
03-18 949
这是ElasticSearch 2.4 版本系列的第三篇： ElasticSearch入门 第一篇：Windows下安装ElasticSearch ElasticSearch入门 第二篇：集群配置 ElasticSearch入门 第三篇：索引 ElasticSearch入门 第四篇：使用C#添加和更新文档 ElasticSearch入门 第五篇：使用C...
如何查看索引的大小
明海棠
06-10 6433
select segment_name,bytes/1024   from user_segments    where segment_name in( 'T1','T2','T3','T4','T5','T6','T7'); 其中 T1，T2即索引
Elastic Search 学习入门之​​​​​​​ES的简单操作命令(二)
Ran_记忆犹新的博客
12-08 543
curl是利用URL语法在命令行方式下工作的开源文件传输工具，使用curl可以简单实现常见的get/post请求。简单的认为是可以在命令行下面访问url的一个工具。在centos的默认库里面是有curl工具的，如果没有请yum安装即可。(以下操作均是基于ElasticSearch6.5.0版本的操作)     curl: -X 指定http的请求方法 有 HEAD  GET  POST PUT ...
如何获取elasticsearch集群索引统计信息
vic_torsun的博客
09-19 2265
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎。它提供了丰富的RESTful风格的API方便开发者使用，本文就介绍了Elasticsearch 6.6 版本如何通过RESTful API 接口获取索引统计和状态信息。 获取索引状态接口 索引级别统计信息提供有关索引上发生的不同操作的统计信息。API提供有关索引级别范围的统计信息（尽管也可以使用节点级别范围检索大多...
ElasticSearch索引--查询使用指南
一只IT小小鸟
08-28 3176
1. 我们通常用_cat api检测集群是否健康。 确保9200端口号可用: 　curl 'localhost:9200/_cat/health?v' 绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用.   2. 通过如下语句，我们可以获取集群的节点列表： curl 'localhost:9200/_cat/nodes?v' ...
Elasticsearch对象存储实践：冷热分离与NLP增强
Elasticsearch (ES) 在这种架构中的应用，是通过百度智能云ES（BES）服务，直接将索引数据存储在BOS上，同时提供查询接口以访问这些远程数据。这一设计实现了以下几个关键点： 1. **分级存储**：将冷数据存放在BOS，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值