GBase 8a MPP Cluster数仓建设浅谈

随着互联网和“大数据”时代的来领，传统银行如今面临来自其他领域的跨界挑战前所未有。如何转变思维，唤醒沉睡的数据，建立强大稳定的数据分析系统，开发创新数据应用，实现经营转型，是银行业“大数据”时代迫在眉睫的任务。
银行系统作为典型的数据密集型单位，数据的重要性日益凸现：一方面，数据是其信息化的核心，是保障银行正常运转的关键，对数据库系统的稳定性和安全性有着十分苛刻的要求；其次，数据是宝贵的资源和财富，体量增长非常迅速，新构建的数据仓库系统必须具备对新生数据进行及时处理，计算和管理的能力。
其主要需求，概括如下：

(1) 解决海量数据快速运算与管理的问题：
能够支持PB级以上数据、超过万亿行的数据库表、可以支撑每天处理上千个的复杂作业处理能力的并行数据库产品。
(2) 系统需要灵活可扩展：
要求系统能够具有不断的线性可扩展的能力，具备较高比例的数据压缩能力，从而能够保障系统随着数据的增长而线性扩展。
(3) 安全稳定：
数据仓库系统必须安全稳定，具备7×24小时不间断提供服务的能力，保障上层业务系统稳定运行；
MPP数据库需要具备强大的备份和容灾能力，能够保障数据本身的安全，杜绝因故障引起的任何数据丢失的可能。
(4) 开放可靠：
能够基于x86和Linux开放平台搭建； 产品厂商需要具有强大的支持团队，能够为客户提供及时的、全方位的服务。

通过构建GBase 8a MPP Cluster集群，建立数据仓库。
在数据仓库内部，从功能上可以划分为ODS层，BDS层及GDS层三个逻辑层次。

ODS（Operational Data Storage）层即为贴源层，用于存放从业务系统直接抽取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致。

BDS（Base Data Storage）层全称为基础数据层，主要加工任务为在数据库按照对象的需求建模成功之后，对ODS层的数据进行加工和整理。

GDS（General Data Storage）即公共数据层，主要目的是为了满足上层应用加工的需求，对BDS层中的数据按照主题或需求进一步进行加工整合，完成轻度数据汇总或宽表加工等任务。