案例分享|某国有大行数据分析平台建设

某大行总行数据平台项目

项目概况

项目背景

随着数字化业务的发展，客户的数据规模增长迅速，数据来源、形态也呈多样化趋势, 对于海量数据的多层次、高时效分析挖掘需求日益增加。

考虑到国内银行业采用基于开放X86的MPP架构数据库构建结构化数据处理平台及 分析应用已经成为趋势。客户计划采用海量并行计算(MPP)架构数据库产品技术，用于建设面向客户海量结构化数据加工处理与分析挖掘的总、分行数据平台及分析应用，以支撑 不断增长的数据规模以及灵活、复杂的业务统计分析需求。

基于开放X86的MPP架构分析型数据库作为中行大数据建设的重要组成部分，支持 中行后线数据类应用系统数据库由集中式架构向分布式架构转型，在成本可控的同时，大 幅提高大数据计算处理能力，提升业务体验。

关注问题

原有系统主要无法满足发展需要，客户需要一款能够支撑全行分析应用需求并且满足 后续业务发展需要的新数据库产品来满足需要。原系统主要问题如下：

》信息孤岛

借记卡、信用卡、电子银行等等系统之间通过数据交换来进行交互，数据整合成本很 高并且缺乏实时性。

＞基础架构无法支撑快速增长的新业务

原先基于ORACLE平台进行整合，后期出现性能瓶颈，导致一些新业务很难再加进来。

建设要求

为了解决问题，客户对未来新的数据平台和数据库产品提出如下要求：

/能够处理多种数据并与各类上层应用整合

/能够进行多维数据处理，支持常用的星型、雪花型模型

/支持标准化查询接口

/具有良好的扩展能力和潜力

/技术符合目前数仓大数据发展需要，具有一定先进性

在数据仓库建设上，提出如下技术指标要求：

/支持PB级数据；

/支持在线的横向扩展、支持超大规模的集群

/每天处理5000个以上的复杂作业处理；

/具备高数据压缩、列存储等特性；

/ 7x24小时不间断服务，具备备份和容灾能力，无故障数据丢失；

/ 支持 x86、Linux;

/标准统一，满足SQL92及JDBC、ODBC接口；

/信息安全，自主可控。

4.2解决方案

针对客户特点及建设规划，南大通用为客户搭建了数据集市和数据分析层，业务涵盖 核心系统、个贷系统、总账系统、信贷系统、网银系统、风险系统等各类业务系统。数据 服务支持BI、各类应用接口、报表系统、SAS模型平台、监管报送等各类应用，支持总行、 分行及监管机构用户的查询访问需求，打破了原来中行各类系统信息孤岛，实现了数据分 析的统一整合、统一管理、统一调度，为实现客户数据大集中打下了坚实的基础。

系统总体架构如下：

图4-1系统总体架构图

架构重点说明：

＞数仓交换层

通过客户数据交换平台将整体数据传输至数据集市层，数据来源包括：核心系统、个

贷系统、总账系统、信贷系统、网银系统、风险系统等业务。

＞数据集市层

＞数据集市层包括分行数据集市、总行审计集市、信贷风险集市、反洗钱集市、个 金集市、内控风险集市等六大集市，集数据处理、分析、查询于一体，全面支持 中行数据集市层所有功能。

应用效果

客户在面临行业市场竞争的环境下，通过大数据应用及数据挖据，及时准确掌握客户 消费、行为及需求，是客户提升营销及风险控制能力的重要手段。该大数据项目，客户总行部署了多个应用业务分析的数据仓库、数百个节点数据量超过5PB;客户江苏、北京、内蒙古、澳门等分行，部署总数也是超过百个节点。通过引入GBase数据仓库技 术，不仅满足了业务需求，提高分析效率同时对于基于X86的基础设施的完全支持，极大节省了数据仓库的建设成本。主要价值体现如下：

/全面支持总行分行所有数据分析型场景，提升中行数据分析能力，将原有T+2的数据分析能力提升为T+0,并全面支撑客户分析业务需求；

/系统可支持全行全业务覆盖的综合查询和分析，查询分析效率明显提升；目前客户数据查询能力从原有的千万行级表数据复杂查询分钟级响应，提升到现在亿行级表 数据复杂查询秒级响应；

/客户数据平台目前全业务数据量超过5PB，支持大并发下混合复杂查询的秒级响 应；

/支持基于X86的IT基础设施，极大节省了数据仓库建设的成本。通过小型机下移, 将系统总建设成本降低为原来的1/3;

/利用GBase 8a集群的高性能、高稳定性的特点，为客户提供了高性能、低投入的通用计算平台；为用户提供了并行海量复杂数据处理平台，帮助客户形成支持PB 级数据规模的业务能力；

/创新性的部署为分行解决了数据基础、计算平台、应用模式的统一。面向科技人员提供支撑分行特色批量开发部署，面向业务人员提供支撑便捷灵活自主用数，打造 了一个〃一站式的数据应用分析工作平台”。