使用MPP数据库解决农行海量数据复杂运算处理

最新推荐文章于 2024-08-18 07:30:00 发布

七得隆冬强

最新推荐文章于 2024-08-18 07:30:00 发布

阅读量4k

点赞数

文章标签： MPP 数据库南大通用农业银行

本文链接：https://blog.csdn.net/well_2000_82/article/details/80129264

版权

农业银行采用GBase 8a MPP Cluster数据库，构建国内最大金融大数据平台，处理5.2PB数据、236节点，满足每天6000个复杂分析任务。项目旨在解决数据量增长挑战，实现56环境双活，提高数据处理效率。通过功能分组型MPP架构、异步SQL会话、资源管控优化等技术创新，提升了系统的并发访问数量和执行效率。

摘要由CSDN通过智能技术生成

农业银行以国产数据库GBase 8a为基础的国内最大的金融大数据平台采用混搭融合架构、双活数据仓库、超大规模数据库集群这些先进技术全部应用其中。56是生产环境，现在实现了56环境的双活!5.2PB数据量、236个节点、每天6000多个复杂的分析任务。

项目背景

随着互联网+时代的到来，金融大数据呈指数增长。结构化数据增长基本可控，它随着业务的增长是一个线性关系；而对非结构化数据，尤其语音、图像，优酷上的视频，增长巨大。现在精准营销、风险控制、运营等对大数据的应用提出更高的要求。随着大数据时代到来，处理大数据的技术手段和成本的下降都提供了对大数据的可能，在技术上它也是成长最快的一部分。

中国农业银行数据仓库项目最初是基于Sybase IQ建设的，主要应用于统计报表。随着数据量的不断增大、接入的系统越来越多，Sybase IQ由于性能的限制，已经很难在指定的时间窗口中完成统计，也无法继续接入其它的业务系统数据，无法满足银行内部数据分析和监管机构的监管数据要求。系统架构的障碍影响了客户从宝贵的数据资源中挖掘价值，寻找新的、更先进的产品成为客户不得不考虑的问题。

着眼未来，为更好地利用大数据领域新兴技术构造大数据平台，应对市场变幻、带动业务模式创新，寻求新的技术方向已成为必然选择。同时近年来信息安全问题越来越受中国政府和企业的关注，关键领域信息系统的国产化逐步开展。基于信息安全、技术革新等多方面考虑，坚定地走国产化替代道路，在基础架构和核心领域选用国产软件，是农行在技术选型方面重点考虑的因素之一。为此，农行加大了国产化替代的研究力度，对国产MPP数据库产品进行了深入研究和选型，最终选择国产MPP架构数据库——GBase 8a MPP Cluster，通过实际应用进行研究、分析，在架构设计、资源管理、功能实现等诸多方面对GB