按照客户方估算:初始入库10TB左右,月增长1TB左右,数据保存年限15年,基于以上计算考虑到系统冗余,集群整体数据承载能力需求大于200TB。建议部署3节点集群。由我方提供人员进行安装、部署和调试。我方将配合系统应用开发验收,应用系统投产试运行三个月后,启动产品验收。
对于MPP数据库集群,充分考虑OLAP分析型处理场景的特征,作为配置策略,配置主体依存于所处理的数据总量,而非OLTP在线交易类场景的TPMC等指标。依托数据库厂商积累的实际案例经验,在项目实施中合理规划硬件资源与处理数据量之间比例关系,确保最佳得发挥所购设备的各项技术性能。
硬件配置估算的过程立足海量数据分析、数据仓库类应用场景,同时严格平衡资源需求与性能指标之间的关系,此外还参考了GBase 8a MPP Cluster在金融、电信等行业其它类似案例中的实际工程经验。
一般类大数据平台MPP数据库建设中,CPU、内存与磁盘空间如下比例:即1core:8GB:1TB;
集群需3台Linux服务器上部署MPP数据库软件。3个节点作为管理节点与数据节点部署在一起。集群GBase 8a MPP Cluster 管理节点、运算节点网络连接方式:
说明:GBase 8a MPP Cluster数据库集群中每台服务器的配置2个万兆光口,双网卡绑定,分别连接到2台万兆交换机上,形成高可用,用于GBase 8a MPP Cluster数据库节点之间高速数据交换;配置2个万兆网卡,双网卡绑定,分别连接到2台万兆交换机上,形成高可用,用于GBase 8a MPP Cluster数据库集群与其外部节点如应用服务器、监控服务器等数据交换。
建议采用的存1备的方式。每个节点的数据都是3分之1乘以2。
数据高可用的保障机制包括主副本机制、gcrecover机制、failover机制等,它们共同确保GBase 8a MPP的数据高可用。
主副本机制:存储层提供的高可用保障,是数据高可用的基础。
gcrecover机制:执行层提供的数据高可用保障,是一种事务补偿机制,保障数据的最终一致性;与基于事务日志的强一致系统不同,8a MPP采取的是最终一致性(2PC+事务补偿),以获得更好的执行效率。
failover机制:一致性服务层(corosync)提供的数据高可用保障,属于集群层的末端保护,确保集群写操作在极端异常情况下的数据一致性;failover是一种数据高可用的保障机制,用来保障集群异常(发起节点gclusterd crash、发起节点掉电、集群整体crash等)情况下的数据一致性。
对于基于GBase 8a MPP Cluster分布式数据库集群系统,其物理磁盘容量的计算方法为:
最小磁盘空间需求MDSR (Minimum Disk Space Requirements) = 原始数据×数据库及相关工作空间因子×副本选项因子×操作系统因子×RAID因子×数据库压缩因子。
最小磁盘空间需求MDSR除以每台服务器的存储空间,就能得到数据节点服务器的数量。
膨胀因子
因子值
说明
数据库及相关工作空间因子
1.5
对于海量数据的复杂关联和复杂聚合运算,中间过程涉及大量表间关联操作,生成众多中间表;上述过程均占用较大的临时工作空间,一般预留30%~40%临时空间
副本选项因子
2
权衡性能、空间代价和高可用性等因素,配置1份副本
操作系统和文件系统因子
1
一般情况下,规划2块独立的400GSSD盘用于安装操作系统以及其他软件,操作系统盘不占据数据盘存储空间,所以此项因子为1
RAID因子
12/10
一般采用RAID5,同时还需要考虑热备盘。12块盘3.84TB的SSD盘,设置1块热备盘,11块盘做成 1组RAID5;
数据库压缩因子
1
本项目按压缩后实际落盘存储空间计算,不考虑原始数据的压缩比。故数据库压缩因子为1
协调节点部署分布式任务协调调度层组件GCluster,负责SQL的解析、SQL的优化、分布式执行计划生成、执行调度,管理元数据。
协调节点生成执行计划后下发给各计算节点进行计算,为保证协调节点之间元数据信息同步的高效性,以及协调节点与数据节点之间任务分发的高效性,协调节点之间、协调节点与计算节点之间必须使用万兆网络进行连接。
协调节点服务器的数量配置为单数。