案例分享|国内某大行澳门分行数据平台案例

项目背景

澳门某分行原先采用Oracle数据搭建其大数据平台,经过多年使用,现在Oracle已经不能支撑其不断发展的业务。随着数据量上升,现在的大数据库平台数据清洗时间过长,日报经常需要T+2才能展示,月报需要到15号以后才能发布,严重影响了澳门中行的业务开展。

关注问题

该行需要一款能够替代Oracle功能并达到更好性能的数据库,在不进行纵向扩容的前提下,通过资源横向扩展来实现性能提升,最大限度的减少系统建设成本,实现“低投入、高产出”的效果。

建设要求

l 数据库必须支持横向扩展;

l 支持在线的扩容/缩容;

l 支持Oracle窗口函数、分析型函数;

l 提供一键式的数据迁移工具;

l 支持去中心化部署,系统没有单点故障和单点性能瓶颈;

l 系统支持PB以上结构化数据的承载和分析能力。

我方为客户提供GBase 8a MPP Cluster数据仓库,共部署6个集群节点,采用节点数据高可用机制,每个节点包含一个主分片,并同时保存其他节点的两个备片。

集群各节点间通过万兆以太网交换机互联,用于数据加载和节点间数据交换;集群通过万兆网及双网卡主备模式绑定对外提供客户端访问服务。

 6个节点中,每个节点均部署coor与data,一主两备(p 1 d 2),这样每个节点包含一个主分片及两个备份分片,在兼顾集群空间利用的情况下(17T * 6 * 5 / 2 = 255T),达到集群的高可用性的要求。

实施情况

我司为客户完成了6个节点的GBase 8a MPP集群的搭建,并提供监控系统以便客户方便的进行集群状态的监控和运维。

通过完成集群搭建和配置,完成了数据一主两备的部署模式,同时coor与data节点均部署6个,可实现任何节点宕机后集群功能不受影响同时性能仅下降1/6。

效果及价值

本项目大幅度提升了客户的大数据分析能力:

l 通过此次项目实施,系统性能较Oracle环境跑批时间仅为原先的1/20,系统性能提升超过10倍。

l 原系统复杂业务原跑批时间4小时,新平台仅为20分钟。

l 原Oracle环境需要采用基于DG的oracle高可用机制,同时仅一台服务器提供服务,另一台为备份,新系统可进行全集群的交叉备份,运行时全部六台机器均参与计算,最大限度的发挥整个集群性能。

l 系统彻底避免了单节点故障,使整个系统高可用能力上升到了一个新的阶段。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值