GBASE南大通用云数仓助力企业架构云化升级-（1）数据仓库的架构演进

GBASE南大通用云数仓助力企业架构云化升级：

数据仓库的架构演进

数据仓库技术从早期的单机数据库​开始，随着业务的发展和技术演进，经历了多个阶段。最初的数据仓库是基于单机数据库构建，如Oracle和DB2。然而，由于计算能力和存储容量的限制，单机数据库在处理大规模数据时可能会出现性能瓶颈。为了解决这个问题，出现了以Oracle RAC为代表的Share Disk集群架构，这种架构通过共享磁盘实现了计算能力的水平扩展，但多个计算节点共享磁盘的架构容易引起读写资源争抢，造成IO性能瓶颈，同时多个计算节点间的缓存信息通过节点间的高速网络传输来实现共享，在节点规模较大时，这种方式将带来较高的压力，从而造成节点扩展规模的限制。

为了克服存储能力的不足，Share Nothing架构应运而生。这种架构分为MPP一体机架构和开放型MPP架构两类。MPP一体机架构的代表产品有Teradata​、Oracle Exdata等，而开放型MPP架构则包括Greenplum​、Vertica以及GBASE南大通用的GBase 8a(MPP)等。

一体机架构采用软硬件一体的集成方式，在一体化集成性能方面表现优异，但由于采用专用硬件的方式，在扩展灵活性和成本方面劣势明显。开放型MPP架构硬件采用商用X86架构​PC_Server服务器+商用交换机、路由器方式搭建集群，在扩展灵活性和硬件成本上具备较大优势。

开放型MPP架构在扩展性、扩缩容、混合负载和数据倾斜等方面也存在一些缺陷。随着客户业务的增加和数据量的增长，这些缺陷可能会更加明显。扩展性方面，MPP架构的扩展能力有限。随着节点数量的增加，通信和同步的开销也会增加，导致性能下降。因此，MPP架构难以支持大规模的数据处理和计算任务。扩缩容方面，集群节点存储计算绑定，在进行集群规模扩展时需要进行数据的重新分布，占用计算资源。混合负载方面，在一个集群内同时承载跑批计算任务和基于分析结果的查询服务时，跑批任务长时间抢占计算资源，造成数据查询服务性能不稳定。数据倾斜方面，MPP架构中数据需要在多个节点之间进行分发和传输。如果数据分布不均匀或者不完整，就会导致某些节点空闲而其他节点还在忙碌，从而导致资源的浪费和性能的下降。

云计算具有的一些优势体现在：可扩展性，云计算提供了可伸缩性，可以根据需要动态地增加或减少计算资源，以满足业务需求。灵活性，云计算平台可以提供各种服务，包括虚拟机、存储、网络、数据库等，可以满足不同的业务需求。高可用性，云计算平台具有高可用性，可以通过备份和灾难恢复等机制来确保业务的连续性和稳定性。降低成本，云计算可以减少企业的IT基础设施投资和维护成本，因为云服务提供商负责管理和维护这些基础设施。易于管理，云计算平台可以提供自动化管理和监控功能，可以帮助企业更轻松地管理和维护它们的业务。提高效率，云计算可以快速地开发新应用，提高企业的运营效率。

综上，通过将存储和计算解耦，实现存算分离并适应云计算环境，将极大改善传统IT系统中存算一体的MPP架构存在的问题，因此适应云计算环境的云原生数据仓库应运而生。云数仓是实现存储和计算分离的一种技术，具有极高的弹性、高安全性、易共享和高可用性等特性。它代表了一种将大规模数据处理和分析任务迁移到云端的需求和技术趋势。

云数仓的实现通常基于分布式存储和计算技术，可以提供高性能、高吞吐量和低延迟的数据处理服务。其代表产品包括Snowflake、GBASE南大通用GBase 8a (GCDW)以及云技术实施厂商自己的云数据库，如亚马逊的Redshift和谷歌的BigQuery。