独家特性 | 腾讯云大数据ES：一站式索引全托管，自治索引大揭秘！

腾讯云大数据

已于 2023-07-11 15:25:01 修改

阅读量1.6k

点赞数

文章标签：腾讯云大数据 elasticsearch 运维阿里云

于 2022-11-15 18:03:39 首次发布

本文链接：https://blog.csdn.net/cloudbigdata/article/details/128014898

版权

作者：腾讯云大数据ES团队

自治索引是腾讯云ES推出的一站式索引全托管解决方案，应用于日志分析、运维监控等时序数据场景，提供分片自动调优、查询裁剪、故障自动修复、索引生命周期管理等功能。可在降低运维与管理成本的同时，提高使用效率与读写性能。

背景概述

腾讯云ES团队从大量的运营实践中发现，索引的合理设置是业务高效稳定运行的基础，现实中索引管理不仅使用门槛高、运维投入高，更是很多线上问题的源头，目前ES 60%的运维管理操作、60%的基础线上问题都与此相关，是使用ES的关键痛点。

基于此背景，腾讯云ES推出了业界首创的自治索引，能实现索引创建、滚动、降冷、删除、故障自动修复的全自动化，并实现分片的智能调优，大幅减少了运维故障和资源投入。

本篇文章将从PB级日志数据管理的挑战出发，为大家介绍自治索引的基本概念以及优势特性。

PB级日志数据管理的挑战

日志场景的特点

从我们大量的线上运营与实践来看，目前日志场景主要存在以下几个特点：

写入的数据中均带有时间戳，例如常见的@timestamp之类的字段；
写入吞吐量大，写入TPS最高可达千万/秒，对可用性的要求高；
存在近热远冷的特性，例如刚上报的日志数据，往往读写频率较高，而随着时间推移，频率则慢慢降低；
写多读少，大部分的请求往往用于数据写入，而只有少部分的请求进行数据查询；
某些行业存在明显的波峰波谷效应，例如在出行行业，数据量在下雨天、节假日骤增，而平常则趋于平缓；
数据的价值密度低，在排障时，我们需从海量的日志数据中提取关键信息。

别名方案

基于以上提到的特点，我们先来看到在日志数据管理中常见的解决方式-别名方案，这种方式需要创建ILM、索引模版、初始索引，然后通过别名写入数据。这种方式虽然提供了完整的日志解决方案，但从业务实际接入与维护情况看，仍然存在一定的使用和管理开销。包含两部分：

1）数据接入阶段：ES索引创建，用户需要理解较多概念原理，比如索引模板、别名、生命周期管理、索引滚动等，功能过于灵活、接口使用繁杂；产生一定的学习和使用门槛。

2）数据维护阶段，包括：

故障处理，比如写入快速放量，因索引分片数设置不合理，产生写入拒绝，需要手动调整分片数并滚动索引；以及机器故障场景下，需及时滚动索引，保障写入正常，降低业务影响。
日常维护：需定期收敛集群分片数，降低集群元数据管理压力，提高集群稳定性。

总结一下，基于别名的日志数据管理存在一定的运营投入、处理不及时会产生业务影响等问题。

别名方案使用流程

社区Datastream方案

再来看下ES社区推出的Datastream功能，Datastream通过结合ILM，可满足日志等时序数据管理需求。社区Datastream解决方案的优势在于，提供了相对完整的日志类时序数据管理功能，并且ILM、索引模板、DataStream，经过多个版本迭代，功能已成熟稳定。

但从数据来看，Datastream并没有非常广泛的使用，原因是：

1）使用相对复杂，创建时依赖ILM、模板等多个组件，并需强制结合index模版使用；

2）字段名限制：写入数据必须带名称为@timestamp的时间字段；

3）写入模式限制：只支持追加写，数据更新场景不太适用；

另外，ILM自动滚动索引虽然可以解决单分片过大的问题，但是在业务写入快速放量，机器故障等场景中仍存在无法覆盖的问题。

Datastream写入示意图

自治索引概述

我们针对目前业界在日志分析、运维监控等场景中使用ES遇到的索引分片设置难题、索引生命周期管理开销大、平台运维成本高等问题，自研了自治索引，作为一站式的索引全托管解决方案，自治索引提供了分片自动调优、查询裁剪、故障自动修复、索引生命周期管理等特性，同时在写入层做了相应的优化，整体而言，自治索引可在降低运维与管理成本的同时，极大的提高使用效率以及在写入与查询时的性能。

自治索引与传统方案对比

基本概念

自治索引是基于Elasticsearch的Datastream内核进行增强实现的，内部关联了一个或多个backing index，即后备索引，我们可以把后备索引理解为自治索引的子索引，数据的写入、查询、滚动、降冷、删除等操作都是针对后备索引的，后备索引处于隐藏的状态，我们在使用与操作时，只需要关注自治索引这一个对象就可以了，无需维护复杂的索引间的关系。