基于 ES 的日志Serverless 服务

摘要：本文整理自阿里云高级产品专家赵弘扬（洪阳）在 阿里云Elasticsearch 自研引擎年度发布 的演讲。主要内容包括：

1. 阿里云Elasticsearch 业务

2. 阿里云Elasticsearch 日志Serverless 服务

3. 阿里云Elasticsearch 技术演进之路

Tips：点击「阅读原文」查看原文视频

一、阿里云Elasticsearch 业务

1、业务规模

阿里云Elasticsearch 业务（简称 ES），从2017年至今已经服务了几千个客户，数据规模达20PB，在公共云上拥有10000+集群，10W+节点规模，是一个成熟的云原生服务。

2、Elasticsearch 在日志场景通常会遇到的问题

在企业的数字化转型过程中会生成大量日志数据，企业通过 Elasticsearch 满足日志检索、存储、归档审计的需求，而这些需求归根结底都会落到成本的增加，体现在以下三个方面：

• 海量日志数据：

  日志和业务数据的根本区别在于，日志规模的大小与业务系统的复杂度相关，在业务量不大的情况下，也会生成海量日志数据，会产生大量的数据存储开销；

• 并发性能瓶颈：

  海量日志的采集、消费或存储，都会产生并发性能瓶颈，进而引发稳定性风险；

• 大规模集群：

  海量日志数据的检索、归档、监控等