先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7
深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
正文
兼容性（Compatible）
首先DCM需要具备很好的兼容性，可以跨平台使用，各类操作系统、云平台、应用服务器下均可以很好运行，这决定了DCM的使用范围。
此外，兼容性还意味着可以兼容多样性数据源，无论何种数据源都可以直接使用并进行混合计算，这要求DCM拥有足够强的开放性。
热部署（Hot-deploy）
数据处理是一种高频且稳定性较差的场景，在业务开展过程中经常要新增修改计算任务，这就要求DCM应该具备热部署特性，修改数据处理逻辑无需重启应用（服务）就能生效。
高性能（Efficient）
计算性能是数据计算场景重点关注的方面，有时会成为最主要的关注点，所谓天下武功无快不破。DCM应该能够高效处理数据，提供诸如高性能计算库、高性能存方案、并行计算等高性能保障机制。
敏捷性（Agile）
敏捷性要求DCM能够快速实现数据处理逻辑，具备完备的计算能力，尤其面对复杂计算场景通过足够简单的编码就能完成数据处理，同时可以高效运行。这需要DCM提供敏捷编程机制和易于使用的开发环境等支持。
扩展性（Scalable）
当计算容量无法满足需要时，DCM应该具备灵活的横向扩展能力。扩展性对当代应用十分重要，扩展能力的好坏决定了DCM的上限。
集成性（Embeddable）
DCM应该能够很好与应用集成嵌入使用，在应用内充当计算引擎，作为应用的一部分随应用一起打包部署。这样应用本身就获得了强计算能力，不再强依赖数据库后，可以很好应对存储与计算分离、微服务和边缘计算等场景。并且，良好的集成性还是敏捷性的另一方面体现，DCM很轻，随时随地都能嵌入与应用结合使用。
如果将DCM这几个特性的首字母组合起来，与CHEESE（奶酪）很接近（CHEASE），而DCM的作用就像夹在汉堡里的奶酪一样，如果缺少，味道和营养都会差很多。
这样能否作为理想的DCM就可以使用CHEASE的标准去考察。这里不妨看一下一些主流技术对DCM的满足情况。
现有技术的情况
SQL
数据库是使用SQL的主要阵地，数据库通常具备较强的计算能力，一些头部数据库的计算性能也很强，基本可以满足高性能（E）的需要。而且数据库过于封闭，数据要入库才能计算，无法很好满足多样性数据源场景的需要，兼容性（C）较差。
对于集成性（E），由于绝大部分数据库都是独立使用的，极少数（如SQLite）支持嵌入的数据库往往功能和性能都达不到要求，因此数据库几乎不满足集成性的要求。
而SQL作为专用的集合计算语言，实现简单计算很方便，但复杂计算用SQL表达很繁琐，经常要嵌套多层，实际业务中经常能看到几千行的“长”SQL，不仅难写，维护也不方便，所以SQL不太符合敏捷性（A）的要求。
与数据库类似的Hadoop相关技术也存在同样的问题，封闭性导致兼容性差、敏捷性不足、基本不具备集成性等缺点，虽然在扩展性方面表现要优于数据库，但总体并不符合DCM的要求。Spark的表现要略好，但Scala不支持热部署，实现复杂计算也不够方便，而Spark SQL仍然存在SQL的那些问题。这些技术都过于沉重，很难满足DCM在敏捷性、集成性、热部署等方面的需要。
Java
Java作为原生的编程语言可以很好跨平台运行，也可以通过编码完成多数据源计算任务，因此兼容性（C）很好。而且对于大部分都采用Java开发的应用来说，集成性（E）也不在话下。
但Java的缺点也很明显，作为编译型语言无法实现热部署（H）。由于缺少必要的结构化计算类库完成简单的分组汇总也要几十行代码，就别提复杂计算了。虽然现在微服务架构中也经常使用Java硬编码完成数据处理，但其实计算实现要比SQL复杂得多，没办法，计算前置就不能再用数据库，难写也得挺着，因此敏捷性（A）极其不足。虽然在Java8以后引入了Stream，但计算能力并没有实质改善（Kotlin也存在类似的问题）。
使用Java虽然理论上也能实现各类高性能算法，但是如果只是为某个应用/项目服务，要实现这些高性能算法封装投入就太大了，因此从实际应用角度来看，Java并不具备高性能（E）特性。扩展性（S）也存在同样的问题。因此综合来看，Java很难作为优秀的DCM技术使用。
Python
Python作为大火的一类计算技术不得不提一下。Python的兼容性（C）较强，无论是跨平台还是对接多数据源都能支持。尤其是丰富的数据处理包让Python的适用范围极广。
Python在结构化数据处理相比于Java等技术有相当的优势，但却难说很完善，尤其在处理有序分组等复杂计算时会很绕，Python在敏捷性（A）上略有所欠缺。
不仅如此，Pandas的性能（E）也往往达不到要求，尤其针对大数据量计算方面，这跟算法的实现效率有很大关系，敏捷语法可以很方便地实现高性能算法，反之就很困难。同样，在扩展性（S）方面，Python也不尽如人意，本质上来讲作为编程语言的Python要拥有良好的扩展性需要投入大量资源开发完成，这点与Java是一样的。
Python最大的问题是集成性（E），很难与现有应用集成在一起使用。虽然可以通过诸如sidecar模式进行服务间调用，但本质上与DCM要求与应用结合嵌入在一起（同一个进程）相去甚远。Python的主要应用场景并非像Java一样做企业级应用开发，各有用途，勉强不来。归根到底，专业的事儿还需要专业的工具来做。
专业数据计算中间件SPL
开源集算器SPL是专业的数据计算中间件，具备不依赖数据库的完备计算能力，同时开放的计算能力可以混合计算多样性数据，同时解释执行的SPL天然支持热部署，良好的集成性可以很方便嵌入应用中，让应用拥有强计算能力，充分发挥DCM的效力。
兼容性
SPL采用Java开发，跨平台能力与Java一致，可以很好运行在各类操作系统、云平台下。而在多数据源支持方面，SPL具备开放的计算能力，可以对接多种数据源，RDB、NoSQL、CSV、Excel、JSON/XML、Hadoop、RESTful、Webservice都可以直接对接并进行混合计算，不需要入库，数据实时性和计算实时性都可以很好保障。
多源计算支持很好解决了原来数据库无法跨源计算、无法计算外部数据的问题，再加上SPL完备的计算能力和相对SQL更简洁的语法，对于应用来说就获得了与数据库相当（超过）的计算能力。
除了原生计算语法，SPL还提供了SQL支持（相当SQL92标准），可以使用SQL查询文本、Excel、NoSQL等非RDB数据源，这样就极大方便了熟悉SQL的应用开发人员。
DCM只有在开放计算体系的支持下才能拥有足够强的兼容性，才能适应更多的应用场景。
热部署
SPL采用解释执行机制，天然支持热部署。这样对于一些稳定性差经常需要新增、修改计算逻辑的业务（如报表、微服务）非常友好。
高性能
在性能方面，SPL提供了诸多高性能算法与高性能存储机制。在前面提到的DCM消除中间表和ETL场景中，数据往往要落地成文件存储在数据库外，这时采用SPL的文件格式存储可以获得比文本等开放格式高很多的性能。
SPL提供了两种存储类型：集文件和组表。集文件采用了压缩技术（占用空间更小读取更快），存储了数据类型（无需解析数据类型读取更快），支持可追加数据的倍增分段机制，利用分段策略很容易实现并行计算，保证计算性能。组表支持列式存储，在参与计算的列数（字段）较少时会有巨大优势。组表上还实现了minmax索引，同时支持倍增分段，这样不仅能享受到列存的优势，也更容易并行提升计算性能。
SPL还支持各种高性能算法。比如常见的TopN运算，在SPL中TopN被理解为聚合运算，这样可以将高复杂度的排序转换成低复杂度的聚合运算，而且很还能扩展应用范围。
| A | ||
|---|---|---|
| 1 | =file(“data.ctx”).create().cursor() | |
| 2 | =A1.groups(;top(10,amount)) | 金额在前 10 名的订单 |
| 3 | =A1.groups(area;top(10,amount)) | 每个地区金额在前 10 名的订单 |
这里的语句中没有排序字样，也不会产生大排序的动作，在全集还是分组中计算TopN的语法基本一致，而且都会有较高的性能，类似的算法在SPL中还有很多。
SPL也很容易实施并行计算，发挥多CPU的优势。SPL有很多计算函数都提供并行机制，如文件读取、过滤、排序只要增加一个@m选项就可以自动实施并行计算，简单方便。同时也可以显示编写并行程序，通过多线程并行提升计算性能。
敏捷性
SPL提供了原生的计算语法和简洁易用的IDE环境，在IDE中不仅可以很方便编码调试，过程计算的每步计算结果都可以实时查看，网格式编码代码天然整齐，通过格子名称引用中间计算结果无需定义变量，简单方便。
同时，基于SPL丰富的计算类库实施结构化数据计算更方便，分组汇总、循环、过滤、集合运算、有序计算等应有尽有。
SPL尤其擅长复杂计算，原来SQL要嵌套很多层的计算使用SPL却可以很方便实现。比如根据股票记录计算某只股票最长连续上涨多少天？SPL就比SQL简单很多。
上面SQL嵌套了3层，读起来都很绕就别提写了；下面的SPL完全按照自然思维、简单3行就能实现，高下立判。
良好的敏捷性不仅能提升开发效率，很多高性能算法通过SPL可以很方便实现。算法不仅要能想出来，还要能实现，最好实现还简单，SPL提供了这种可能。
扩展性
对于计算性能要求较高的场景，SPL还可以部署单独的计算服务，同时支持多机分布式集群，支持负载均衡和容错机制，当计算资源达到上限时可以通过横向扩容增加算力，具备良好的扩展性。
在分布式计算中，用户可根据数据和计算任务的特点灵活定制数据分布及冗余方案，有效减少节点间数据传输量，以获得更高性能，实现可控数据分布。
SPL采用无中心集群设计，集群没有永久的中心主控节点，允许程序员用代码控制参与计算的节点，从而有效避免单点失效。同时SPL会根据每个节点空闲程度（线程数量）决定是否分配任务，实现负担和资源的有效平衡。
在容错方面，SPL提供内外存两种数据容错机制，外存冗余式容错和内存备胎式容错。支持计算容错，节点故障时自动将该节点计算任务迁移掉其他节点继续完成。
集成性
作为DCM与应用结合方面，SPL提供了标准JDBC/ODBC/RESTful接口，应用可以像调用存储过程一样请求SPL计算结果。
逻辑上SPL作为DCM介于应用和数据源之间实施数据处理，对上提供计算服务，对下屏蔽多样性数据源差异，充分彰显了DCM的重要作用。
JDBC调用SPL 代码示例：
Class.forName("com.esproc.jdbc.InternalDriver");
Connection conn =DriverManager.getConnection("jdbc:esproc:local://");
CallableStatement st = conn.prepareCall("{call splscript(?, ?)}");
st.setObject(1, 3000);
st.setObject(2, 5000);
ResultSet result=st.execute();
综合起来，从DCM的6个特性（CHEASE）来看，SPL在各方面能力综合起来十分均衡，整体远优于其他技术，是DCM的理想选择。
SPL资料
欢迎对SPL有兴趣的加小助手（SPL-helper），进SPL技术交流群
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
SPL技术交流群
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-ttyWEUPI-1713279368885)]
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
676
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
