腾讯云 ES 重磅推出，一站式全托管的自治索引终于来了！

腾讯云大数据

已于 2023-05-22 15:17:36 修改

阅读量365

点赞数

文章标签：大数据 elasticsearch 分布式

于 2022-06-08 18:00:29 首次发布

本文链接：https://blog.csdn.net/cloudbigdata/article/details/125195719

版权

作者：腾讯云 ES 团队

背景概述

当您有日志、监控等持续产生的时序数据存储需求时，通常通过滚动Elasticsearch索引的方式完成，该方式虽然能帮忙您完成基本的数据管理功能，但是仍然需要结合索引模版、索引生命周期管理、索引别名等实现较完整的索引管理，有一定的使用门槛。另外也有一定的索引维护成本，例如需准确的进行索引分片数预估，避免索引分片数不足影响写入可用性、不合理的索引分片数设置导致分片数过多影响集群稳定性，以及索引所在节点故障阻塞写入时需要介入滚动新的索引等问题。

为了解决这些问题，腾讯云Elasticsearch自研了自治索引，自治索引是针对日志分析、运维监控等时序数据场景的一站式索引管理解决方案，您只需要通过简单的步骤创建自治索引，读写请求时指定单个自治索引对象即可，内置索引分片数自动调优、以及完整的索引生命周期管理。提升索引易用性的同时，大大降低索引的维护成本。本文主要介绍自治索引的适用场景、优势特性以及基本概念等。

适用场景

自治索引适用于日志分析、运维监控和其他时序数据场景，例如Metric监控分析、IoT智能硬件数据收集等。

优势与特性

易使用：只需一条命令即可完成自治索引的创建，读写操作仅需关注单个自治索引，内置索引滚动、冷热数据搬迁、过期删除等功能，您只需在自治索引上配置即可，无需额外管理ILM策略和索引模版的成本。
易维护：内置索引分片数自动调整功能，实时跟踪业务写入压力变化，能够及时、稳定的调整索引分片数，以及故障自动滚动新的索引，大大降低索引维护成本。

前提条件

自治索引适用于2022年6月1日之后创建的7.14.2版本集群，早于此时间创建的7.14.2版本集群滚动重启后可支持，低于7.14.2版本的集群需升级至7.14.2版本。
写入到自治索引中的每个文档要求包含一个时间类型的字段，时间类型字段名称需与自治索引定义里的时间字段名称一致。如果创建自治索引时未指定时间字段名称，默认为@timestamp。

基本概念

自治索引与后备索引

自治索引通过Elasticsearch DataStream内核增强实现，内部关联一个或多个后备索引，后备索引即普通的Elasticsearch索引，后备索引处于隐藏状态，只需关注和操作自治索引即可。
写入模式

自治索引支持追加模式写入和时间分区模式写入两种数据写入模式，追加模式写入适用于日志等无更新操作的追加写入场景，时间分区模式写入适用于监控指标等可能有历史数据覆盖更新的场景。
写入请求
向自治索引提交写请求时，会根据写入模式路由到对应的后备索引上。其中，追加写模式会路由到最新的后备索引，时间分区写模式会路由到数据时间对应的后备索引。

（1）追加模式写入

（2）时间分区模式写入
查询请求

向自治索引提交查询请求时，请求会转发到所有后备索引上。
滚动更新

滚动更新将为自治索引新建一个新的后备索引，当前支持以下两种滚动方式：

（1）自动滚动更新：通过自治索引内置功能实现，当满足自治索引配置的滚动周期条件或者当前提供写入的后备索引所在节点故障时，自动滚动新的后备索引。

（2）手动滚动更新：通过Rollover API实现，操作方式详见Rollover。
索引生命周期管理

通过Elasticsearch ILM索引生命管理实现，可直接在自治索引配置生命周期管理策略，无需额外管理生命周期管理策略和关联索引模版，策略类型支持Elasticsearch完整的索引生命周期管理策略。
索引分片数管理

通过自治索引内置功能实现，内部实时跟踪索引写入压力变化，及时、稳定，调整索引分片数。您无需关心索引分片数不足引起的写入可用性，以及集群分片数过多的问题。

使用方式

腾讯云ES数据管理通过简单易用的可视化界面，提供了自治索引的创建、检索分析、索引监控、配置管理等多项服务，协助用户高效的进行索引管理。

创建索引：
索引列表：
索引监控

通过API创建自治索引

通过如下方式，我们即可完成自治索引的创建：

PUT /_data_stream/indexname
{
  "mappings": {
    "properties": {
        }
    }
  },
  "settings": {
  },
  "policy": {
    "warm.actions.migrate": {},
    "warm.min_age": "7d",
  },
  "options": {
    "timestamp_field": "@timestamp",
    "expire.max_age": "100d",
    "expire.max_size": "1TB",
    "pre_create.enable": "true",
    "rollover.max_age": "1h",
    "rollover.dynamic": true,
    "shard_num.dynamic": "true",
    "write_mode": "time_partition"
  }

参数说明：