最全开源 SPL 打破数据库计算的封闭性_spl数据库

中间表带来的资源消耗和耦合

还有中间表。原始数据量很大时，直接基于原始数据计算汇总信息（如报表查询）时的性能会很差，用户体验恶劣。这时，我们会先把一些汇总结果事先计算出，再基于这些中间结果做呈现，用户体验就会好很多。有时候是因为计算过程很复杂，在生成报表时临时计算会使报表开发过于繁琐，也会采用中间数据事先计算好。这些中间数据通常会以数据表的形式存储在数据库中，也就是中间表。之所以存储在数据库中是为了获得进一步的计算能力，中间数据也不是直接使用的，在报表查询时还需要再做少量计算，而基于数据表实施计算（SQL）相对其他方式更方便。

前端统计是业务稳定性比较差的业务，会经常修改和增加，随之而生的中间表也会越来越多。

前面说过的ETL变成ELT和LET由于需要事先入库也会形成很多中间表。

中间表一方面会占用大量存储空间，数据库空间非常宝贵，扩容成本很高。另一方面，中间表还会伴随着存储过程去定时更新数据，消耗数据库计算资源，导致数据库性能下降。

过多的中间表还会带来管理困难，数据库的表是以线性形式组织管理的。在数量不多时尚可，太多（几千上万时）就很难理解，人们一般会采用树状多层结构来组织管理众多的条目。但关系数据库并不支持这种方案（有个模式概念可理解为只能分两层），这时候就要给表较长的命名来区别其分类，使用不便，对开发管理水平要求还高，在工作较急迫时常常顾不上规范，而随便起个名字先把任务完成再说，时间长了，就会遗留大量的混乱中间表。

不仅如此，中间表还会造成各个应用间的紧耦合问题。数据库是一个独立进程，其计算能力在应用外部，不从属于某个应用。各个应用共享数据库，都能访问数据库的资源。某个应用（模块）中生成的中间表可能被另一个应用（模块）调用，这就造成了应用（模块）之间的耦合性，即使某个中间表的制造者已经下线不用，但因为可能被别的应用使用了而不能删除。这样不断新增，中间表的数量会越积越多更加加剧数据库存储容量和计算资源告急的情况。

多样性数据源

当代应用中多样性的数据源越来越普遍，经常有来自外部服务的数据。如果为了计算这些数据而先把它们转入数据库中，也是非常累赘的。临时转入的效率很低（因为数据库的 IO 成本高），很可能跟不上访问需求，定时批量转入又很难获得最新的数据，同样影响计算结果的实时性。

把外部数据存储在数据库中，又会形成众多中间表，面临中间表的各种问题。而且有些互联网上取过来的数据常常是多层的 json 或 XML 格式，在关系数据库中还要建立多个关联的表来存储，会进一步加剧中间表的问题。

存储过程带来的安全和耦合问题

除了中间表，还经常会使用存储过程，虽然存储过程缺点很多（缺乏移植性、编写调试困难等）。为什么会这样呢？由于数据库计算必须在封闭的库内完成，但有些复杂计算通过一句SQL很难实现，而存储过程支持分步计算，且可以利用数据库计算能力，因此大家不得不容忍其缺点。

查询分析类的存储过程是需要经常修改的，由于存储过程与数据库紧密结合，如果程序员每次修改存储过程代码，都要提交给数据库管理员去审核编译，多了环节无疑会降低工作效率。要么给程序员赋予编译存储过程的权限，这样倒是提高效率了，但存在严重的安全隐患，因为编译存储过程的权限过大，程序员有可能误删数据，甚至删除其他应用的数据。其实，查询报表类业务只需要有读权限就可以了，本来不会对数据库造成误写入，但使用存储过程机制却无法避免。

不仅如此，存储过程也会造成应用间的紧耦合，其内在原因和中间表是一致的，同一个存储过程被多个应用（模块）共用导致应用间的耦合性。

大数据性能导致的尴尬

随着业务的发展数据量越来越大，查询性能随之下降，严重时还会影响生产系统。为了保证业务稳定性通常会数据分库，将历史冷数据和当期热数据分库存储，实现冷热数据分离。查询大量冷数据时不会影响生产系统，查询热数据由于数据量很小也不会对生产系统造成很大压力。

但是，冷热数据分离会导致很难完成实时数据（T+0）查询。数据库的封闭体系不允许或很难计算库外的数据，包括跨库查询。而冷热数据分离后，要查询实时数据又必须跨库。同类数据库还有一些跨库查询的手段，虽然性能很差但至少还可以实现。而实际业务中冷热数据存储的数据库类型往往并不一致，热数据在生产系统中更多使用擅长OLTP业务的RDB，而冷数据经常会采用专门面向OLAP业务的数据仓库。跨异构库查询对数据库来说就更加难以实现了。

数据库封闭性引发的这些问题会伴随技术进步不断放大，传统“有库”的方式似乎越来越难适应现代应用架构的需要。

开源集算器SPL的出现，将解决这些问题。

SPL（Structured Process Language）是专业的结构化数据计算引擎，提供了丰富的计算类库，支持过程计算，擅长完成各类复杂计算。开放计算体系支持多数据源混合计算，数据无需“入库”就可以直接计算，SPL支持热切换，提供标准JDBC接口。

开放的SPL解决方式

多样源直接计算

不同于数据库需要数据先入库再计算，SPL面对多样性数据源时可以直接计算。数据入库不仅时效性差，也无法保证数据的实时性。此外不同数据源有各自的优点，文件的IO效率很高，NoSQL可以存储文档数据，RDB计算能力较强，数据入库就无法享受这些优点了。

SPL 提供了开放的数据源支持，你听说过还是没听说过的数据源几乎都能支持，不仅可以连接取数，还可以进行跨数据源混合计算。SPL可以充分利用各类数据源的优点后，再实施跨源计算也更加高效。

回归ETL的本来过程

SPL拥有独立于数据库的计算能力，本身可以基于多源完成各类数据处理。这样ETL中的E和T两步都可以在库外使用SPL完成，最后将计算整理好的数据再L到数据库中，从而实现ETL本来应有的三步：E、T、L。

甚至有的时候ETL结果也可以不装载到数据库，将结果存储到文本中，或者采用SPL的私有数据格式还可以获得更高的查询性能，进一步释放数据库压力。

库外存储过程机制解决安全性

SPL的计算能力不依赖数据库，可以在库外实施计算。与存储过程类似，SPL支持过程计算，可以将任意复杂的计算拆分成多步，逐步实施。这样原来不得不依赖存储过程的两个能力（计算和分步）就完全可以使用SPL替代，实现“库外存储过程”。

库外存储过程创建和使用不需要对数据库有写权限，使用存储过程带来的安全性问题就可以有效避免。

文件替代中间表减少数据库压力并降低耦合

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

需要这份系统化资料的朋友，可以戳这里获取