GBASE南大通用数据库金融案例分享-中国农业银行数据仓库项目

GBASE南大通用数据库金融案例分享：

随着业务分析需求的增加和对业务数据范围、周期需求的扩大，中国农业银行总行原有的统计分析等系统处理性能已经达到极限，其扩展性限制了对不断增强、增加的需求的支持。系统的处理性能也限制了对来自多个业务系统的数据整合的能力，进一步影响对跨业务数据分析需求和业务处理的满足。客户作为国内储户最多的银行，需要建设从架构上能支撑未来业务数据极速增长的、性价比高的、运行可靠稳定的大数据综合业务平台。

需求分析

农业银行作为典型的数据密集型单位，数据的重要性日益凸现：一方面，数据是其信息化的核心，是保障银行正常运转的关键，对数据库系统的稳定性和安全性有着十分苛刻的要求；其次，数据是宝贵的资源和财富，体量增长非常迅速，新构建的数据仓库系统必须具备对新生数据进行及时处理，计算和管理的能力。其主要需求，概括如下：

(1)    解决海量数据快速运算与管理的问题：

能够支持PB级以上数据、超过万亿行的数据库表、可以支撑每天处理4000个以上的复杂作业处理能力的并行数据库产品（本条目中的性能指标为2014年项目启动之初的原始需求，目前已经构建的数据仓库系统性能指标远远大于如上数据）。

(2)    系统需要灵活可扩展：

要求系统能够具有不断的线性可扩展的能力，具备较高比例的数据压缩能力，从而能够保障系统随着数据的增长而线性扩展。

(3)    安全稳定：

数据仓库系统必须安全稳定，具备7×24小时不间断提供服务的能力，保障上层业务系统稳定运行；

MPP数据库需要具备强大的备份和容灾能力，能够保障数据本身的安全，杜绝因故障引起的任何数据丢失的可能。

(4)    开放可靠：

能够基于x86和Linux开放平台搭建；

产品厂商需要具有强大的本地支持团队，能够为客户提供及时的、全方位的服务。

解决方案

在平台建设的技术路线上，银行前瞻布局，采用GBASE南大通用GBase 8a MPP Cluster与Hadoop的融合架构，围绕国产、开源，构建全栈式数据服务技术架构，基本实现数据应用自主创新、安全可控。

中国农业银行总行大数据平台于2013年8月立项；2015年主库投产；2019年大数据平台建成，形成主库+8大集市。平台发展未来规划是打造“新一代大数据能力体系”，夯实数据底座，建立运营体系，全面开放赋能。

系统包括大数据平台主库BDS/GDS、八大集市等，构建了银行大数据基础数据底座，为数据中台服务层AI、BI平台提供数据支撑。GBase数据库作为大数据平台重要的MPP基础设施，主要应用于结构化模型数据存储及加工领域。大数据平台承载数据占比超过70%。大数据平台主库GBase承载数据量近百PB、节点数3000+；Hadoop节点数1500+。

除大数据平台主库外，GBase应用规模最大的场景为分行数据集市，目前该系统拥有10个GBase集群，数百节点数，可承载数据量超过10PB。

监管报送数据服务云系统，结合GBase云数仓联合适配，实现存储运算资源的有效隔离和弹性扩展，提升了联机并发支撑能力。

价值体现

• 项目打破了国外软硬一体数据仓库产品垄断。
• 该项目已建立数千节点集群，共部署百余套生产集群，管理裸数据总量超过25PB，充分满足客户业务高性能需求，双活集群技术保障了金融级高可用; 是国内金融行业最大的数据仓库和大数据平台。
• 2018年大数据平台获得人民银行银行科技发展一等奖。项目的成功是通过国产化保证国家金融信息安全方面的有力证明。
• 基于全国产化，客户建设成本由亿元级别降低到千万元。