腾讯TDSQL提出三个“数据库之问”,数据库技术未来重点在哪?
作者简介:
李海翔,网名“那海蓝蓝”,腾讯金融云数据库技术专家。中国人民大学信息学院工程硕士企业导师。著有《数据库事务处理的艺术:事务管理和并发访问控制》、《数据库查询优化器的艺术:原理解析与SQL性能优化》、《大数据管理》。
前言
2019年10月11日至13日,CCF数据库专委会在济南召开了国内规模最大的、每年一度的数据库学术盛会——第36届CCF中国数据库学术会议(NDBC 2019),腾讯TDSQL团队受邀在“数据库产学研合作论坛”,做了主题为“TDSQL对未来分布式数据库的技术研发思考与实践”的技术报告,与国内数据库学界与业界核心技术人员共同探讨国产数据库面临的基础问题和技术发展方向,助力推动我国数据库技术自主可控发展。
与此同时,本次会上,腾讯云数据库技术专家、金融级分布式数据库TDSQL团队专家工程师、中国人民大学信息学院工程硕士企业导师李海翔,当选成为了中国计算机学会(CCF)数据库专委会委员。未来,腾讯将加大投入,促进我国数据库产学研合作,推进数据库技术自主可控发展。
作为致力于基础技术研发的科技公司,本次NDBC 2019会议,腾讯TDSQL团队带来了TDSQL对分布式数据库技术研发的深度思考与实践分享,期待能抛砖引玉,引发更多思考。主要包括三个方面:
1) 分布式事务的效率与正确性,如何在保证双一致性(事务一致性、分布式一致性)的前提下,提高分布式事务型集群的处理效率?
2) 新硬件和AI等技术,在云环境下,如何影响着数据库的架构?
3)数据库各个模块间是否能解耦以降低研发的复杂度,同时缩短研发人才的培养周期?
一 腾讯TDSQL数据库的发展历程
TDSQL是腾讯打造的金融级分布式数据库,对内支撑腾讯公司近90%的金融、交易、计费类业务。2007年,随着公司业务再一次腾飞,TDSQL团队启动了一个7*24高可用服务项目,以保障腾讯计费等公司级别敏感业务高可用、核心数据零丢失、核心交易零错账。这也是TDSQL的前身。
然而,考虑到当时选用的技术方案,技术层与业务层耦合较深。于是,腾讯技术团队开始了研发一款金融级数据库的项目。实现让数据库来解决高可用、数据一致性、水平伸缩等问题,而让业务系统只需要关注业务逻辑。2012年,标准化的金融级分布式关系型数据库产品TDSQL研发完成,并在腾讯内部大规模推广使用。
十多年研发演进中,TDSQL在高可用、分布式方面做持续优化,同时不断提高性能,具备全球部署架构、水平伸缩、企业级安全等特性。
例如,2018年,TDSQL实现了原创性提出的全面地解决读一致性的算法,使得分布式事务的一致性和分布式系统的一致性统一在一起。同年,在业界颇为头疼的云数据库运维问题上ÿ