实施日记|GBase部署案例

按照客户方估算：初始入库10TB左右，月增长1TB左右，数据保存年限15年，基于以上计算考虑到系统冗余，集群整体数据承载能力需求大于200TB。建议部署3节点集群。由我方提供人员进行安装、部署和调试。我方将配合系统应用开发验收，应用系统投产试运行三个月后，启动产品验收。

对于MPP数据库集群，充分考虑OLAP分析型处理场景的特征，作为配置策略，配置主体依存于所处理的数据总量，而非OLTP在线交易类场景的TPMC等指标。依托数据库厂商积累的实际案例经验，在项目实施中合理规划硬件资源与处理数据量之间比例关系，确保最佳得发挥所购设备的各项技术性能。

硬件配置估算的过程立足海量数据分析、数据仓库类应用场景，同时严格平衡资源需求与性能指标之间的关系，此外还参考了GBase 8a MPP Cluster在金融、电信等行业其它类似案例中的实际工程经验。

一般类大数据平台MPP数据库建设中，CPU、内存与磁盘空间如下比例：即1core:8GB:1TB；

集群需3台Linux服务器上部署MPP数据库软件。3个节点作为管理节点与数据节点部署在一起。集群GBase 8a MPP Cluster 管理节点、运算节点网络连接方式：

说明：GBase 8a MPP Cluster数据库集群中每台服务器的配置2个万兆光口，双网卡绑定，分别连接到2台万兆交换机上，形成高可用，用于GBase 8a MPP Cluster数据库节点之间高速数据交换；配置2个万兆网卡，双网卡绑定，分别连接到2台万兆交换机上，形成高可用，用于GBase 8a MPP Cluster数据库集群与其外部节点如应用服务器、监控服务器等数据交换。

建议采用的存1备的方式。每个节点的数据都是3分之1乘以2。

数据高可用的保障机制包括主副本机制、gcrecover机制、failover机制等，它们共同确保GBase 8a MPP的数据高可用。

主副本机制：存储层提供的高可用保障，是数据高可用的基础。

gcrecover机制：执行层提供的数据高可用保障，是一种事务补偿机制，保障数据的最终一致性；与基于事务日志的强一致系统不同，8a MPP采取的是最终一致性（2PC+事务补偿），以获得更好的执行效率。

failover机制：一致性服务层（corosync）提供的数据高可用保障，属于集群层的末端保护，确保集群写操作在极端异常情况下的数据一致性；failover是一种数据高可用的保障机制，用来保障集群异常（发起节点gclusterd crash、发起节点掉电、集群整体crash等）情况下的数据一致性。

对于基于GBase 8a MPP Cluster分布式数据库集群系统，其物理磁盘容量的计算方法为：

最小磁盘空间需求MDSR (Minimum Disk Space Requirements) = 原始数据×数据库及相关工作空间因子×副本选项因子×操作系统因子×RAID因子×数据库压缩因子。

最小磁盘空间需求MDSR除以每台服务器的存储空间，就能得到数据节点服务器的数量。

膨胀因子

因子值

说明

数据库及相关工作空间因子

1.5

对于海量数据的复杂关联和复杂聚合运算，中间过程涉及大量表间关联操作，生成众多中间表；上述过程均占用较大的临时工作空间，一般预留30%~40%临时空间

副本选项因子

2

权衡性能、空间代价和高可用性等因素，配置1份副本

操作系统和文件系统因子

1

一般情况下，规划2块独立的400GSSD盘用于安装操作系统以及其他软件，操作系统盘不占据数据盘存储空间，所以此项因子为1

RAID因子

12/10

一般采用RAID5，同时还需要考虑热备盘。12块盘3.84TB的SSD盘，设置1块热备盘，11块盘做成 1组RAID5；

数据库压缩因子

1

本项目按压缩后实际落盘存储空间计算，不考虑原始数据的压缩比。故数据库压缩因子为1

协调节点部署分布式任务协调调度层组件GCluster，负责SQL的解析、SQL的优化、分布式执行计划生成、执行调度，管理元数据。

协调节点生成执行计划后下发给各计算节点进行计算，为保证协调节点之间元数据信息同步的高效性，以及协调节点与数据节点之间任务分发的高效性，协调节点之间、协调节点与计算节点之间必须使用万兆网络进行连接。

协调节点服务器的数量配置为单数。