项目背景
澳门某分行原先采用Oracle数据搭建其大数据平台,经过多年使用,现在Oracle已经不能支撑其不断发展的业务。随着数据量上升,现在的大数据库平台数据清洗时间过长,日报经常需要T+2才能展示,月报需要到15号以后才能发布,严重影响了澳门中行的业务开展。
关注问题
该行需要一款能够替代Oracle功能并达到更好性能的数据库,在不进行纵向扩容的前提下,通过资源横向扩展来实现性能提升,最大限度的减少系统建设成本,实现“低投入、高产出”的效果。
建设要求
l 数据库必须支持横向扩展;
l 支持在线的扩容/缩容;
l 支持Oracle窗口函数、分析型函数;
l 提供一键式的数据迁移工具;
l 支持去中心化部署,系统没有单点故障和单点性能瓶颈;
l 系统支持PB以上结构化数据的承载和分析能力。
我方为客户提供GBase 8a MPP Cluster数据仓库,共部署6个集群节点,采用节点数据高可用机制,每个节点包含一个主分片,并同时保存其他节点的两个备片。
集群各节点间通过万兆以太网交换机互联,用于数据加载和节点间数据交换;集群通过万兆网及双网卡主备模式绑定对外提供客户端访问服务。
6个节点中,每个节点均部署coor与data,一主两备(p 1 d 2),这样每个节点包含一个主分片及两个备份分片,在兼顾集群空间利用的情况下(17T * 6 * 5 / 2 = 255T),达到集群的高可用性的要求。
实施情况
我司为客户完成了6个节点的GBase 8a MPP集群的搭建,并提供监控系统以便客户方便的进行集群状态的监控和运维。
通过完成集群搭建和配置,完成了数据一主两备的部署模式,同时coor与data节点均部署6个,可实现任何节点宕机后集群功能不受影响同时性能仅下降1/6。
效果及价值
本项目大幅度提升了客户的大数据分析能力:
l 通过此次项目实施,系统性能较Oracle环境跑批时间仅为原先的1/20,系统性能提升超过10倍。
l 原系统复杂业务原跑批时间4小时,新平台仅为20分钟。
l 原Oracle环境需要采用基于DG的oracle高可用机制,同时仅一台服务器提供服务,另一台为备份,新系统可进行全集群的交叉备份,运行时全部六台机器均参与计算,最大限度的发挥整个集群性能。
l 系统彻底避免了单节点故障,使整个系统高可用能力上升到了一个新的阶段。