实时数仓Hologres新一代弹性计算组实例技术揭秘

最新推荐文章于 2024-07-12 09:23:30 发布

aliyunhologres

最新推荐文章于 2024-07-12 09:23:30 发布

阅读量749

点赞数

分类专栏：技术原理解读文章标签：阿里云大数据云计算

本文链接：https://blog.csdn.net/aliyunhologres/article/details/129139275

版权

Hologres推出的新一代弹性计算组实例旨在解决大数据的资源隔离、弹性问题，提供更高的稳定性和成本效益。该技术通过Multi-cluster&Shared Data架构实现资源隔离和弹性扩展，支持读写分离、资源隔离等场景，已在阿里巴巴CCO客服体验部等核心业务中成功应用，降低运维成本并提高业务稳定性。

摘要由CSDN通过智能技术生成

作者：王奇（花名慧青）阿里云Hologres研发

随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。Hologres在保障业务方面持续优化核心技术竞争力，过去一年中，Hologres创新提出并实现了新一代弹性计算组实例，旨在通过更强的隔离和弹性能力，进一步提高业务系统的稳定性。Hologres弹性计算组在2022年双11也成功落地阿里众多核心业务场景，比如阿里巴巴CCO客服体验部，助力CCO在大促场景中实现更加平稳的客服调度和问题处理。

通过本文，我们将会详细介绍Hologres弹性计算组实例的实现原理，助力更多业务进一步提升企业级资源隔离和弹性能力。

大数据面临资源、成本、隔离、弹性的综合挑战

在业务发展初期，数据量和并发访问量较小的情况下，利用传统的实时数仓可以轻松满足各类业务数据的分析。随着业务的极速发展，业务复杂度、数据量、并发访问量逐步增加，实时数仓技术开始被越来越多的业务使用，并逐渐在生产业务中落地。于此同时，业务也开始不可避免的遇见分析场景、服务场景、离线加工场景等场景的系统负载冲突等资源隔离问题，业务对系统的隔离和弹性能力都提出了更高更严苛的要求，尤其是像双11等大促场景上，系统需要有负载隔离、弹性等高可用能力来支撑更加迅猛的流量峰值。

传统分布式系统是通过副本和隔离来实现业务生产系统的进一步稳定，而要实现生产更高的稳定也需要面临一定的取舍和挑战：

系统面向流量洪峰时的动态可扩展能力
系统因意外或者故障宕机时的快速恢复能力
多副本隔离带来的资源成本问题
业务高低峰时资源的弹性能力
…

为了解决以上挑战，实现更加稳定、弹性、低成本的系统，Hologres不断演进其技术能力：

在产品设计之初，就采用存储计算分离模式，可以非常高效的实现资源水平扩展能力，满足不同流量洪峰对资源的不同需求
内置调度系统，实现了节点故障、Failover的快速检测以及自动调度恢复能力，即使有节点挂了，也能快速的拉起和切换，保障节点的可用性
支持资源组隔离、多形态Replication包括Binlog、单实例Replication、主从实例等，有效解决数据读写分离、实现资源隔离、故障隔离
…

更多关于高可用的实现请见>>Hologres高可用技术揭秘

随着业务的发展和技术的演进，以及企业对降本增效的诉求加深，如何在降低成本的同时还能保持更加极致的隔离和资源弹性能力，又成为实时数仓技术的另一大挑战。为了应对这个挑战，在今年Hologres创新提出建设实现了新一代弹性计算组实例技术，与主从实例不同之处在于，业务可以通过将计算资源分解为不同的计算组模式，不同的计算组共享一份存储，计算资源可弹性分配，按需创建，可同时完美支撑读写分离、资源隔离、业务隔离等诸多场景。

下面我们将会介绍Hologres弹性计算组实例的具体技术实现原理和最佳使用实践。