数据库基础·1

与以磁盘存储为主的普通数据库相比，内存数据库的数据访问速度可以高出几个数量级，能大幅提高运算性能，更适合高并发、低延时的业务场景。

不过，当前大部分内存数据库仍然采用 SQL 模型，而 SQL 缺乏一些必要的数据类型和运算，不能充分利用内存的特征实现某些高性能算法。仅仅是把外存的数据和运算简单地搬进内存，固然也能获得比外存好得多的性能，但还没有充分利用内存特征，也就不能获得极致的性能。

内存可以通过地址（指针）来访问。但 SQL 没有用内存指针表示的数据对象，在返回结果集时，通常要把数据复制一份，形成一个新的数据表。这样不仅多消耗 CPU 时间（用于复制数据）而且还会占用更多昂贵的内存空间（用于存储复制的数据），降低内存使用率。

除了 SQL 型的内存数据库外，Spark 中的 RDD 也有这个问题，而且情况更严重。为了保持 RDD 的 immutable 特性，Spark 在每个计算步骤后都会复制出新的 RDD，造成内存和 CPU 的大量浪费。所以，即使耗用了巨大资源，Spark 也仍然做不到高性能。相比之下，SQL 型的内存数据库通常还会优化，在 SQL 语句中的计算会尽量使用内存地址，通常要比 Spark 的性能更好。

但是，受到理论限制，实现 SQL 的逻辑时，返回的结果集就必须复制了。如果涉及多步骤的过程运算，要多次在上一步的结果集（临时表）基础上进一步计算，SQL 的劣势就会很明显了。

事实上，如果没有改变数据结构，我们可以直接用原数据的地址形成结果集，不需要复制数据本身，仅仅多保存一个地址（指针），同时减少 CPU 和内存的消耗。

SPL 扩展了 SQL 的数据类型，支持这种指针式复用机制。比如，对订单表按照订单日期（odate）范围过滤后，分别求出订单金额（amount1）大于 1000 和运货费（amount2）大于 1000 的订单，再计算出两者的交集、并集和差集，最后将差集按照客户号（cid）排序。SPL 代码大致是这样：

外键关联是指用一个表（事实表）的非主键字段，去关联另一个表（维表）的主键。比如订单表中的客户号和产品号分别关联客户表、产品表的主键。现实运算中这种关联可能多达七八个甚至十几个表，还可能出现多层的关联。SQL 数据库通常使用 HASH JOIN 算法来做内存连接，需要计算和比对 HASH 值，过程中还会占用内存来存储中间结果，关联表很多时计算性能就会急剧下降。

其实，我们也可以利用内存指针引用机制事先做好关联。在系统初始化阶段，把事实表中的关联字段值转换为对应维表记录的指针。因为维表的关联字段是主键，所以关联记录唯一，将外键值转换成记录指针不会引起错误。在后续计算中，需要引用维表字段时，可以用指针直接引用，无需计算和比对 HASH 值，也不需要再存储中间结果，从而获得更优的性能。SQL 没有记录指针这种数据类型，也就无法实现预关联了。
————————————————
版权声明：本文为CSDN博主「陈橘又青」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/m0_63947499/article/details/128917386