分布式数据库在金融应用场景中的探索与实践

分布式数据库在金融应用场景中的探索与实践

刘雷, 郭志军, 马海欣, 赵琼, 胡卉芪, 蔡鹏, 杜洪涛, 周傲英, 李战怀

交通银行软件开发中心，上海 201201

华东师范大学数据科学与工程学院，上海 200062

西北工业大学计算机学院，陕西 西安 710072

 

摘要：金融互联网化的迅速发展要求金融数据库系统同时具备高性能、可扩展、高可用和高容错等特性，传统数据库管理系统难以同时满足这些特性。为了应对金融互联网化带来的挑战，响应国家对技术自主可控需求，交通银行专注于支持金融行业典型交易的新一代数据库系统研发，通过实现轻量级分布式选举协议和分布式事务功能，开发了具备高性能、可扩展、高可用和高容错特性的分布式数据库，并成功将其运用于交通银行多个关键业务系统中。

关键词：分布式数据库 ; CBASE ; 高可用性 ; 可容错 ; 可扩展

论文引用格式：

刘雷, 郭志军, 马海欣, 赵琼, 胡卉芪, 蔡鹏, 杜洪涛, 周傲英, 李战怀. 分布式数据库在金融应用场景中的探索与实践. 大数据[J], 2019, 5(1):77-86

LIU L，GUO Z J, MA H X, ZHAO Q, HU H Q, CAI P, DU H T, ZHOU A Y, LI Z H. Exploration and applications of distributed database in financial area. Big data research[J], 2019, 5(1): 77-86

1 引言

近年来，随着国际信息安全形势的日益严峻，国家信息安全战略逐步深入。为了应对金融业核心技术受制于人的严峻形势，中国人民银行、中国银行保险监督管理委员会相继提出了金融业应加快推进国产自主可控替代计划，以满足构建安全可控的信息技术体系的要求。然而，当前大型国有金融企业的核心系统主要依赖于国外IT巨头的集中式数据库产品和配套的底层硬件，核心技术缺乏突破，无法做到完全自主可控。

互联网金融化带来的主要挑战是数据量、交易量大幅度提高，并伴随数十倍于正常负载的交易高峰压力以及交易复杂度的增加。而商业银行采用的传统数据库在处理此类应用场景时，在扩展性、性能、吞吐量和可靠性等方面遇到了明显的瓶颈，只能通过简单的升级硬件的方式提升性能，不仅成本昂贵，而且面对互联网金融交易的指数级增长，这样的方式也无法保证系统的可持续正常服务。

近年来，大容量内存、高速网络和集群构建等技术的发展，为解决金融行业核心数据库系统支持互联网化改造提供了全新的思路。和传统的小型机、大型机相比，服务器集群具有更好的弹性，成本更低。此外，基于集群的分布式数据库在基础架构、事务处理、查询优化与处理、容错与高可用保障等方面都需要重新设计，才能保障数据库系统满足负担金融行业核心应用的高要求。

在此形势与背景下，交通银行联合华东师范大学和西北工业大学，于2013年开始共同研发可以支持银行核心交易的新一代关系型数据库系统，通过实现分布式选举和分布式事务两大核心功能，成功实现了具备高可用性、高可扩展性和高吞吐量特性的分布式数据库（以下简称CBASE），并将其应用于交通银行多个关键业务系统中。这是我国首例在大型银行的事务处理型应用中使用自主研发的数据库系统，打破了大型银行核心系统被国外IT公司垄断的局面，成功验证了国内商业银行使用自主研发数据库支撑银行应用的可行性，促进了金融领域自主可控技术的发展。

2 现有技术方案的局限性

2.1 传统集中式关系数据库

关系数据库理论诞生于20世纪60年代，经过几十年的发展与完善，技术已基本成熟。大多数企业的数据管理离不开关系数据库，其典型代表（如DB2、Oracle、MySQL等）广泛应用于各行各业中。关系数据库在工业生产、金融交易、企业管理方面占有举足轻重的地位。

然而，传统关系数据库系统的设计主要面向企业级应用，系统运行在独立的服务器上，而现代金融应用更多的是面向互联网用户。随着用户及相应数据量的急剧增加，传统的集中式关系数据库在可扩展性上的弊端日益显现。其技术缺陷可以简单归纳为以下几个方面：

单点处理性能瓶颈，即单节点的数据库系统无法处理大规模的用户并发访问计算；

单点运行风险高，容灾容错能力差；

单节点存储能力有局限；