【GBASE案例】GBase 8a Mpp支撑某省分移动云经分系统数据层

建设情况

1．某省分移动云化经分系统系统总体架构

图 | 某省分移动云经分系统总体架构

某省分移动云化经分系统的数据层主要由云化历史库、大数据基础平台和大数据分析平台组成，其中大数据基础平台采用基于X86技术的分布式MPP数据库（GBase 8a）技术构建。用于满足经分主仓库和大数据分析平台的数据存储，负责承载海量历史数据挖掘和趋势分析预测等业务应用。大数据基础平台由主数据仓库和数据集市构成，其中主数据仓库负责责基础数据模型的处理，承载少量及时性较高应用，数据集市的基础数据来源于数据仓库，并在此基础上支撑端到端应用。

2．GBase 8a Mpp主数据仓库

图 | 主仓数据库网络架构

数据仓库建设通过新建MPP集群方式，采用GBase UP平台融合管理MPP+Hadoop异构引擎，MPP集群用于承载原有主数据仓库全部业务（包括一经和省经），Hadoop集群用于历史库冷数据的存储，通过透明网关提供查询功能。MPP集群与外部系统的数据交互全部通过云化ETL平台和BDI数据交换平台完成。通过DACP平台对MPP数据库上的数据、安全、任务、调度进行管理。

图 | MPP集群部署图

图 | 数据流向图

数据从BDI数据交换平台，通过清洗、转换、过滤后加载到GBASE集群中去；通过DACP对数据、安全、任务、调度进行管理。

部署的MPP集群磁盘采用SSD盘，从读写速度上提升主数据仓库的运行速度，并且采用GBase UP版本，通过全新的MPP + Share Nothing 的分布式架构，无论在支持节点数量、数据加载性能、高并发性及高可用和在线扩展方面都有了极大的提高，尤其增加对Oracle和Hadoop生态系统的各种大规模结构化与非结构化数据处理技术的支持，以进一步满足业务和运营层面对产品的不断需求。

价值体现

某省分移动云经分系统数据层的大数据基础平台采用GBase 8a MPP Cluster作为整合各个业务系统的数据仓库和数据集市平台，实现了以下几项平台价值：

1. 低成本
● GBase 8a数据库运行于低成本的X86 PC服务器，有效节省硬件投入成本
● 新系统整体成本降为原来的1/10左右

2. 动态扩展
● GBase集群能够有效处理PB级数据，满足基础数据及应用数据的存储需求
● 将原有服务器的垂直纵向扩展模式改为依据数据量的水平横向扩展模式，动态扩展无须停止服务，保证服务连贯性

3. 高可用
● 通过合理配置能够有效实现均衡负载，充分发挥每一个节点的计算能力，提升整个系统的协同效率
● 基于安全组的备份策略，能够保证节点在发生故障时，不影响系统对外提供服务的连续性

4. 高性能
● 提升对外提供数据服务的能力，实现数据变现产生收入
● 高效的数据运算与查询性能，满足各类专题分析与创新类应用需求