大数据最全开源 SPL 打破数据库计算的封闭性_spl数据库(2)，程序员必看

最新推荐文章于 2024-11-08 10:28:53 发布

2401_84164503

最新推荐文章于 2024-11-08 10:28:53 发布

阅读量319

点赞数 5

文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84164503/article/details/138912723

版权

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

我们知道，数据库的数据处理能力是封闭的。所谓封闭性，这里是指要被数据库计算和处理的数据，必须事先装入数据库之内，数据在数据库内部还是外部是很明确的。

数据库一般有 OLTP 和 OLAP 两个用途。对于 OLTP 业务来讲，因为要保证数据的一致性，而一致性只有在一个确定的范围内谈论才有意义，这样就自然就会带来封闭性：数据库系统将保证也只负责数据库内部的数据的一致性。

不过，OLAP业务却没有数据一致性的要求。而用于OLAP业务的数据仓库也常常是用数据库来充当，这样的数据仓库也顺便继承了这个封闭性。

数据库的名字中有个“库”字，这会让人觉得它是个以存储为主要目的的产品。其实不然，在实际应用中，特别是在大数据场景下，数据库有相当多的作用是计算，对于 OLAP 业务几乎可以说是全部，其存储经常也是为了计算服务的。因为数据库的计算能力还不错，远远超过大多数其它软件产品，所以人们经常会为了计算目标而部署数据库。

但是，一个以计算为主要任务的产品，没必要绑定封闭性这样的特点。数据库的封闭性会带来诸多问题，且越来越难适应当代的需要。

数据库封闭性带来的问题

ETL变成ELT甚至LET

一个典型的现象就是 ETL 经常被做成 ELT 甚至 LET。ETL是E、T、L这三个步骤，本来设计得很合理，先E再T再L。但是，ETL 中的 E 和 T 这两步事实上也是某种计算，如果计算能力被封闭到数据库之内的话，我们就只能先把数据装入库中才能计算了，因为无法计算库外的数据。然而 ETL 过程中的原始数据常常并不在库内，或者至少不在这个用于计算的数据库中，也可能存在于多个数据库。结果，都需要先做个同库动作之后才能再计算，也就是要先L才能去做E和T，打乱了ETL的合理次序。

数据库的封闭性，相当于城市有个城墙，数据要进出也必须通过数据库的城门，过程中还要进行一些检查。对于 OLTP 业务，为了保证一致性，这些检查是有必要的，但也会损失数据库的 IO 效率，而这对于 ETL 这类业务几乎没有意义，只是浪费时间而已。

中间表带来的资源消耗和耦合

还有中间表。原始数据量很大时，直接基于原始数据计算汇总信息（如报表查询）时的性能会很差，用户体验恶劣。这时，我们会先把一些汇总结果事先计算出，再基于这些中间结果做呈现，用户体验就会好很多。有时候是因为计算过程很复杂，在生成报表时临时计算会使报表开发过于繁琐，也会采用中间数据事先计算好。这些中间数据通常会以数据表的形式存储在数据库中，也就是中间表。之所以存储在数据库中是为了获得进一步的计算能力，中间数据也不是直接使用的，在报表查询时还需要再做少量计算，而基于数据表实施计算（SQL）相对其他方式更方便。

前端统计是业务稳定性比较差的业务，会经常修改和增加，随之而生的中间表也会越来越多。

前面说过的ETL变成ELT和LET由于需要事先入库也会形成很多中间表。

中间表一方面会占用大量存储空间，数据库空间非常宝贵，扩容成本很高。另一方面，中间表还会伴随着存储过程去定时更新数据，消耗数据库计算资源，导致数据库性能下降。

过多的中间表还会带来管理困难，数据库的表是以线性形式组织管理的。在数量不多时尚可，太多（几千上万时）就很难理解，人们一般会采用树状多层结构来组织管理众多的条目。但关系数据库并不支持这种方案（有个模式概念可理解为只能分两层），这时候就要给表较长的命名来区别其分类，使用不便，对开发管理水平要求还高，在工作较急迫时常常顾不上规范，而随便起个名字先把任务完成再说，时间长了，就会遗留大量的混乱中间表。

不仅如此，中间表还会造成各个应用间的紧耦合问题。数据库是一个独立进程，其计算能力在应用外部，不从属于某个应用。各个应用共享数据库，都能访问数据库的资源。某个应用（模块）中生成的中间表可能被另一个应用（模块）调用，这就造成了应用（模块）之间的耦合性，即使某个中间表的制造者已经下线不用，但因为可能被别的应用使用了而不能删除。这样不断新增，中间表的数量会越积越多更加加剧数据库存储容量和计算资源告急的情况。

多样性数据源

当代应用中多样性的数据源越来越普遍，经常有来自外部服务的数据。如果为了计算这些数据而先把它们转入数据库中，也是非常累赘的。临时转入的效率很低（因为数据库的 IO 成本高），很可能跟不上访问需求，定时批量转入又很难获得最新的数据，同样影响计算结果的实时性。

把外部数据存储在数据库中，又会形成众多中间表，面临中间表的各种问题。而且有些互联网上取过来的数据常常是多层的 json 或 XML 格式，在关系数据库中还要建立多个关联的表来存储，会进一步加剧中间表的问题。

存储过程带来的安全和耦合问题

除了中间表，还经常会使用存储过程，虽然存储过程缺点很多（缺乏移植性、编写调试困难等）。为什么会这样呢？由于数据库计算必须在封闭的库内完成，但有些复杂计算通过一句SQL很难实现，而存储过程支持分步计算，且可以利用数据库计算能力，因此大家不得不容忍其缺点。

查询分析类的存储过程是需要经常修改的，由于存储过程与数据库紧密结合，如果程序员每次修改存储过程代码，都要提交给数据库管理员去审核编译，多了环节无疑会降低工作效率。要么给程序员赋予编译存储过程的权限，这样倒是提高效率了，但存在严重的安全隐患，因为编译存储过程的权限过大，程序员有可能误删数据，甚至删除其他应用的数据。其实，查询报表类业务只需要有读权限就可以了，本来不会对数据库造成误写入，但使用存储过程机制却无法避免。

不仅如此，存储过程也会造成应用间的紧耦合，其内在原因和中间表是一致的，同一个存储过程被多个应用（模块）共用导致应用间的耦合性。

大数据性能导致的尴尬

随着业务的发展数据量越来越大，查询性能随之下降，严重时还会影响生产系统。为了保证业务稳定性通常会数据分库，将历史冷数据和当期热数据分库存储，实现冷热数据分离。查询大量冷数据时不会影响生产系统，查询热数据由于数据量很小也不会对生产系统造成很大压力。

但是，冷热数据分离会导致很难完成实时数据（T+0）查询。数据库的封闭体系不允许或很难计算库外的数据，包括跨库查询。而冷热数据分离后，要查询实时数据又必须跨库。同类数据库还有一些跨库查询的手段，虽然性能很差但至少还可以实现。而实际业务中冷热数据存储的数据库类型往往并不一致，热数据在生产系统中更多使用擅长OLTP业务的RDB，而冷数据经常会采用专门面向OLAP业务的数据仓库。跨异构库查询对数据库来说就更加难以实现了。

数据库封闭性引发的这些问题会伴随技术进步不断放大，传统“有库”的方式似乎越来越难适应现代应用架构的需要。

开源集算器SPL的出现，将解决这些问题。

SPL（Structured Process Language）是专业的结构化数据计算引擎，提供了丰富的计算类库，支持过程计算，擅长完成各类复杂计算。开放计算体系支持多数据源混合计算，数据无需“入库”就可以直接计算，SPL支持热切换，提供标准JDBC接口。