近期,泉州银行数据平台项目成功上线,此项目数据仓库采用南大通用GBase 8a mpp cluster构建,借助GBase 8a mpp cluster数据融合的能力实现与大数据平台的信息共享。项目一期规划数十节点的MPP集群规模,来支撑泉州银行的大数据分析平台,助力泉州银行全国产化解决方案的落地。
项目概况
泉州银行正处于业务发展的新阶段,新业务模式层出不穷,数据量日益增多,随着业务数据的内容和形式不断丰富,对数据支撑及数据服务的总体能力提出了更高的要求。因此,基于大数据技术,整合现有行内数据,接入行外数据,搭建并行处理能力强、易于扩展的大数据平台刻不容缓。
通过数据中台的建设,泉州银行以提升“数据资产变现”能力为业务目标的一站式、一体化开发平台,实现全行数据的大集中管理,统一全行数据开发平台,数据标准并提高数据质量,辅助全行实现数字化转型目标。
解决方案
泉州银行数据体系总体架构规划
1. 数据集成
包括内部各源业务系统结构化数据、半/非结构化数据和外部来源数据,为数据平台提供源数据来源。
2. 数据管控
数据管控平台包括元数据管理、数据标准管理、数据质量管理、数据资产管理等。数据管控始终贯穿数据平台的整个建设过程,需要规划数据管控平台的体系架构,分析梳理行内数据标准化、数据质量、元数据的管理流程,结合数据管控平台做好数据管理,提升数据质量。
3. 数据开发运维
制定统一的开发规范,提高数据开发质量以及开发效率,降低数据运维成本。主要包括统一数据采集、统一数据交换、统一ETL处理和统一调度平台等产品工具,贯穿数据平台的整个开发和运维过程。
4. 数据平台
数据平台包括基础数据平台和大数据平台,为数据应用提供数据支持。数据平台由大数据平台与数据仓库组成,本次项目数据仓库采用南大通用GBase 8a mpp cluster构建,借助GBase 8a mpp cluster数据融合的能力实现与大数据平台的信息共享。项目一期规划为数十个节点的MPP集群规模,未来支撑泉州银行全行的大数据分析平台。
5. 数据服务
数据服务体系根据应用系统的业务需求,由数据平台提供数据,分级分类提供数据交换服务,包括联机查询服务、实时计算服务、外部数据服务和批量数据服务等,满足数据平台与内部应用系统、外部系统交互的需要。其中,我们还可以通过自助分析工具,为用户提供自助分析等数据服务功能。
6. 数据应用
数据应用体系作为数据平台的展现及应用窗口,主要通过统一应用平台,实现数据展现分析固定报表、自助分析、灵活查询、图形化展示、历史查询等,满足用户对报表管理以及数据分析的迫切要求,支持经营决策,充分挖掘数据价值。
效果及价值
1. 湖仓一体化
GBase 8a mpp cluster数据融合能力可实现MPP与Hadoop平台无缝数据融合能力:使用统一的访问接口,实现在线透明跨异构平台的数据交互、异构平台的数据流转,借助该能力可以构建泉州银行湖仓一体化平台,实现湖批仓算、数据生命周期管理、多模数据融合的能力。
2. 自主可控
全平台采用纯国产平台:包括服务器、数据库。国产化整体解决方案极大的提升平台的高可靠性。
3. 高稳定性
GBase 8a mpp cluster提供多种高可用机制:通过多副本提供单集群的高可用、通过虚拟集群技术提供逻辑集群的高可用、通过数据容灾实现跨机房的高可用,因此可以满足金融行业两地三中心的高可用保障。