TDSQL团队在研发分布式事务型数据库的过程中,除了思考分布式事务处理技术(ACID实现的所有技术)外,还深度探索测试验证、架构扩展、模块解耦等等各种重要的问题。
新硬件和AI等技术,在云环境下,如何影响着数据库的架构?
数据库各个模块间是否能解耦以降低研发的复杂度,同时缩短研发人才的培养周期?
新硬件和AI等技术,从架构上深深地影响了传统的数据库,这表现在如何融合这些新技术:
首先,数据库可能会“增加”很多新模块进去,如图7中的左下子图,AI调优数据库技术使得数据库系统被扩展了,增加了很多新组件进来。 其次,数据库的传统模块会被改变,如图8中的左下子图,在并行的事务型数据库系统中,提出基于AI技术对事务进行优化的模型。该模型采取存储过程的方式(此点类似H-Store、VoltDB),向数据库引擎提前提供所执行的事务,然后利用AI技术(Markov model,马尔可夫模型)对存储过程进行分析,确定那些存储过程所代表的事务间的语义,排定事务并发执行时哪些是互相冲突的,得到一个有固定结构的事务执行模型,如图8左下子图中右侧,是对TPC-C模型NewOrder进行的分析得到的事务调度图。 当多个Client发出SQL语句执行存储过程代表的并发事务时,据此模型即能推断事务的调度方式。这是AI技术改变事务处理中并发访问控制模块的一个典型事例。
下图中“d”模型是基于RDMA从2个方面对事务处理构成影响,一是事务处理的控制流,二是事务执行过程中发生的数据流。影响分布式事务处理效