实时数仓 Hologres 如何支持超大规模部署与运维

2021年11月23日至12月3日，中国信息通信研究院（以下简称“中国信通院”）对第13批分布式分析型数据库共计27款产品进行了大数据产品能力评测。阿里云实时数仓Hologres（原阿里云交互式分析）在报表任务、交互式查询、压力测试、稳定性等方面通过了中国信通院分布式分析型数据库性能评测（大规模），并以8192个节点刷新了通过该评测现有参评的规模记录。

在本次评测中，Hologres是目前通过中国信通院大数据产品分布式分析型数据库大规模性能评测的规模最大的MPP数据仓库产品。通过该评测，证明了阿里云实时数仓Hologres能够作为数据仓库和大数据平台的基础设施，可以满足用户建设大规模数据仓库和数据平台的需求，具备支撑关键行业核心业务数据平台的能力。

在Hologres实例的云原生调度和运维体系建设上，团队也联合阿里云云原生等团队，解决了在超大规模集群；在运维能力建设上，团队通过自动化、智能化的运维体系建设，解决了实例部署和稳定性保障的问题。

一 超大规模部署面临的挑战

随着互联网的发展，数据量出现了指数型的增长，单机的数据库已经不能满足业务的需求。特别是在分析领域，一个查询就可能需要处理很大一部分甚至全量数据，海量数据带来的压力变得尤为迫切。同时，随着企业数字化转型进程的加速，数据的时效性变得越来越重要，如何利用数据更好的赋能业务成为企业数字化转型的关键。

大数据实时数仓场景相比数据库的规模往往是成倍增加：数据量增加（TB级、PB级甚至是EB级）、数据处理的复杂度更高、性能要更快、服务和分析要同时满足等等。

而使用过开源OLAP系统的用户，尤其是通过开源OLAP自建集群的用户，都有一些比较深刻的体会，就是部署和运维困难，包括ClickHouse、Druid等，都面临了如下难题：

• 如何满足集群的快速交付和弹性伸缩
• 如何定义服务的可用性指标和SLA体系
• 存储计算一体，机型选择和容量规划困难
• 监控能力弱，故障恢复慢，自愈能力缺失

同时，随着规模的增加，规模优势和高性能吞吐下的压力，实时数仓的部署和运维难度呈指数级增加，系统面临了诸多调度、部署和运维上的各种挑战：

• 如何解决调度能力满足在单集群万台规模下服务实例的秒级拉起和弹性伸缩能力的要求；
• 如何解决大规模集群自身的容量规划、稳定性保障、机器自愈，提升相关的运维效率；
• 如何实现实例和集群的监控时效和准确性的双重要求，包括怎么在分钟内完成问题发现和分钟级的问题解决

得益于阿里云强大的云原生基础服务研发能力，实时数仓Hologres通过优秀的架构设计和阿里云大数据智能运维中台的能力等多个核心能力的建设，解决这些挑战，为用户提供了一个性能强大、扩展能力优秀、高可靠、免运维