2021最全大数据学习路线（建议收藏）_大数据先学数学还是先学编程

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

Java是基础工具，我个人是学完JavaSE，重点对集合、多线程以及JVM进行深入学习，JavaEE没有花时间学。如果你时间充裕，比如大二或者研一同学，可以深入学习JavaEE，再进行后续的学习也行。

目前企业生产基本使用的是 Linux 系统，掌握 Linux 基本原理是未来必备技能。

Hadoop 是分步式系统基础架构，主要解决海量数据的存储和海量数据分析计算问题，包含HDFS，MapReduce，Yarn 三个组件。其它框架在此不作介绍了。

针对一个技术框架如何学习，可以参照我下面这个视频！我总结了框架学习要按照阶段去学，循序渐近，而不是一蹴而就，急功近利会导致你技术学的不够深入不说，更重要的是浪费了你的时间。

2.3项目实践

大部分非科班同学都会遇到的痛点，在学校没有实际的项目。但是找工作的时候，简历上至少需要23个项目，并且要有12个亮点项目。比如在某个项目中，你遇到什么困难，采用什么技术解决的？做了哪些优化？

关于项目这块，后面我有项目实战推荐！

3学习资料推荐

我自己作为一名非科班转型者，深知一份好的入门学习资料可以节约多少时间。因此，我对自己自学以来的历程，做了一下复盘，并且把我自己的学习路线以及自学的学习资料推荐给大家。

希望能够给转行的小伙伴们一点参考。主要包含了计算机基础知识、大数据框架学习、项目实战三个模块相关的入门视频和好的书籍推荐！

建议零基础同学先学习Java语言基础语法，一个月左右便可以把JavaSE学完，后续找面经查漏补缺！

之后搭建Linux虚拟机平台，为后续大数据框架学习作准备。

因为我的时间比较紧急，不仅要完成导师布置的任务，还要挤出时间学习。所以，我的计算机基础知识是穿插在大数据框架学习中间，面试前重点刷了一些常见的面试题。以下是我刷的Java面试题博客链接。

最全 Java 面试总结：
https://blog.csdn.net/thinkwon/category_9731418.html

3.1基础

编程语言基础：Java基础是所有后续大数据学习的基石。我最开始是通过看书学习，看完后没有什么感觉，幸好之后找到了尚学堂高淇的300集，这个视频里把每一个知识点都讲的非常全面，也会有详细的案例。如果你是零基础，建议看视频入门，代码一定要自己敲一遍，切忌眼高手低！

高淇三百集：
https://www.bilibili.com/video/BV1oy4y1H7R6?p=16

Java 推荐《Java编程思想》，有在线中文版

此外，还有Scala语言，因为后续要学到 Spark、Flink等框架，这些框架采用Scala编程极为灵活，所以需要学习Scala的编程规范。关于Scala学习，推荐尚硅谷老师的视频。

尚硅谷Scala语言入门：

https://www.bilibili.com/video/BV1Xh411S7bP?p=50

注意：在这个阶段，Scala 语言可以先不学，可以在学习 Spark 之前学习！

---

数据结构与算法：强烈推荐左神的视频，他讲的内容基本上和企业面试相关，通俗易懂。我当时看的是一个在牛客网上讲视频：其中包括算法初级和进阶。在听这个视频前，最好去了解下基本的数据结构！可以从下面百度网盘中获取视频资料和课件！看完视频后，具备一定的基础了，可以把剑指offer刷完！

数据结构与算法视频链接：

https://pan.baidu.com/s/14bGK2Wva2MbyviIKjkhNNQ

提取码：3ojw

如果网盘链接失效，请添加我微信：a934614406，备注【左神算法】，我重新给你发一遍！

---

计算机网络与基础：我当时看的是B站方老师讲解的视频，讲的比较全面透彻，而且时间也不是很长，总共42节，每节平均40分钟左右，一周左右便可以看完，针对非科班同学特别友好！要留大把时间给后面技术框架学习，听完视频，可以去搜一搜相关的面经，可以查漏补缺。

方老师计算机网络链接：

https://www.bilibili.com/video/BV1yE411G7Ma?p=23

---

操作系统：操作系统知识比较多涉及到的内容也比较细，如果你的时间充裕，且不着急面试找工作的话，你可以去B站搜索哈工大李治军老师的课程，老师会用Linux内核代码得视角帮助你理解操作系统得原理。

操作系统链接：

https://www.bilibili.com/video/BV1d4411v7u7?from=search&seid=15412161143884682127

如果你时间紧急，想直接应对面试，这里给你分享一份总结好的操作系统重点面试知识！

请添加我微信：a934614406，备注【操作系统】，我给你发一份详细的操作系统面试知识！

---

数学理论基础：大数据与人工智能结合，那么数学基础是不可或缺的。但是，数学是学不完的，也没有几个人像数学专业的同学或者博士那样精通数学，所以大家要认识到，入门 AI 只要掌握数学中的基础知识就好，主要包含：高等数学、线性代数、概率论与数理统计三门课程。这里为大家整理了三篇简易的数学入门文章：

高等数学：https://zhuanlan.zhihu.com/p/36311622

线性代数：https://zhuanlan.zhihu.com/p/36584206

概率论与数理统计：https://zhuanlan.zhihu.com/p/36584335

推荐笔记：《机器学习的数学基础》和《斯坦福大学机器学习的数学基础》

链接：https://pan.baidu.com/s/1mEPLOurp57IZL9GNOwx2sw

提取码：iihb

如链接失效，请加我微信：a934614406，备注【数学基础】

3.2大数据框架

Linux：无论你做的是后端还是大数据，Linux已经成为企业筛选人才的一个标准。我极力推荐观看尚硅谷韩顺平老师的Linux入门视频教程，清华大学的学霸，课程逻辑清晰，讲解透彻。

国内入门Linux课程几乎选择该门课程。这也是我学习印象最深刻的一门课，看完后，只能一句卧槽，居然还能讲的的这么清晰！

尚硅谷韩顺平Linux链接：

https://www.bilibili.com/video/av21303002

可以结合《Linux就该这么学》这本术一起学习，加深对 Linux 理解！

---

Hadoop（重点）：Hadoop是大数据技术中最重要的框架之一，是学习大数据的第一课。

目前，Hadoop已经从1.x版本发展到现在的3.x版本。Hadoop一共包含3个组件：分别是最强的分步式文件系统HDFS，海量数据并行计算框架MapReduce，流行的资源管理系统Yarn。

任何框架的学习，先搭建好环境，线上跑一个测试案例，之后再深入其原理。

HDFS有伪分布式、完全分步式以及高可用架构模型，重点了解HA架构模型以及各个角色的职责。

HDFS的架构模型主要包括以下角色：Namenode（Active、Standyby），Datanode，JournalNode，DFSZKFailoverController（ZKFC），SecondNamenode。

虽SecondNamenode应用较少，但还是要了解其工作机制。

MapReduce的核心思想、详细工作流程，Shuffle机制也要重点掌握，面试会问。

Yarn资源管理系统不仅适用于MapReduce计算框架，同时也会被用于Spark计算框架，所以它的工作机制也非常重要。

我推荐大家学习尚硅谷的Hadoop教程，从原理到生产实践调优，再深入源码，非常透彻。

尚硅谷Hadoop链接：

https://www.bilibili.com/video/av21303002

可以结合《Hadoop权威指南》第四版学习。

如果对 Hadoop 源码感兴趣，可以参考《Hadoop技术内幕》（董西成）和《Hadoop2.x HDFS源码剖析》这两本书。

---

ZooKeeper：ZooKeeper是一个分步式协调管理组件，主要的典型应用场景是数据发布/订阅、分步式协调/通知、集群管理等。

你可以结合《从Paxos到ZooKeeper》这本书结合一起学，这本书不仅阐述了CAP理论，把ZooKeeper的核心原理讲的很透。小白可以从下面这个视频入门。

尚硅谷ZooKeeper链接：

https://space.bilibili.com/302417610/video?keyword=ZooKeeper

注：视频仅作为初学者入门，要深入学习还需要看书和研究官方文档。

---

Hive：Hive 是一款开源数据仓库工具，它可以将结构型数据映射成一张表，但其底层使用的是MapReduce，提供类SQL查询，一般称之为HQL。

初学者入门Hive，可以从视频开始，重点需要了解内部表与外部表的区别，以及分区分桶等。

如果你要深入学习其内部原理及调优，可以去读一读《Hive编程指南》和Apache官方文档，对企业级的调优有详细的阐述。

尚硅谷Hive链接：

https://www.bilibili.com/video/BV1EZ4y1G7iL

---

HBase：HBase是一个结构化数据的分步式存储系统，可扩展也支持海量数据存储的NoSQL数据库，是每一个大数据从业者应该要掌握的基本框架。重点要掌握其架构原理，各个角色职责，Compact流程和Region流程。下面是入门 HBase 的视频教程。

尚硅谷HBase链接：

https://www.bilibili.com/video/BV1Y4411B7jy

注：可以结合《HBase权威指南》和《HBase实战中文版》两本书，加深对 HBase 的理解。

---

Redis（重点！）：Redis是一个开源的 key-value 存储系统，支持存储的 value 类型相对更多，并且支持各种不同方式的排序，为了保存效率，数据都是缓存在内存中。

该组件无论是后端还是大数据，都是必会的一个框架。我学习一个新技术，先是通过视频入门，之后再去看相关书籍和官方文档，深入理解技术细节。

Redis 推荐大家看尚硅谷周阳老师讲的，就是该课程有点老，很多新的特性可能无法了解。我贴出了两个Redis 课程入门学习链接：

尚硅谷周阳老师Redis链接：

https://www.bilibili.com/video/BV1oW411u75R

2021最新入门到精通Redis链接：

https://www.bilibili.com/video/BV1Rv41177Af?p=4

推荐书籍：《Redis设计与实现》和《Redis 深度历险：核心原理与应用实践》

---

Kafka（重点！）： 作为高吞吐量的分步式发布订阅消息系统，Kafka 可以处理消费者规模的网站中所有动作流数据。

这里建议：先了解 Kafka 是解决什么问题的而产生的，再了解其基本架构，最后深入理解核心实现原理。

下面是 Kafka 入门视频链接：

尚硅谷Kafka入门链接：

https://www.bilibili.com/video/BV1a4411B7V9

推荐书籍：首推《深入理解 Kafka：核心设计与实践原理》，想要深入了解 Kafka 源码的，你可以跟着《Apache Kafka 源码剖析》一起看，可以让你顿悟！

---

Spark（重点！重点！重点！）：Spark 支持了 Streaming、SQL、GraphX、MLLib等应用。但相较于 Hadoop 中的 MapReduce 计算框架，Spark速度快10到100倍左右

另外，计算过程中，如果某一节点出现问题，事件重演的代价远低于 MapReduce。Spark SQL 可以对结构化数据进行处理

Spark Streaming 主要用于实时流数据处理场景，支持多种数据源，DStream 是 Spark Streaming 的基础抽象

Spark MLlib 提供了常见的机器学习功能的程序库，GraphX 主要用于图计算。下面是我为大家筛选的 Spark 入门学习链接，这个视频主要是基于Scala 2.12版本讲解，对最新的 Spark3.0作了详细的介绍，是一套小白入门学习的好资料。

2021Spark 从入门到精通链接：

https://www.bilibili.com/video/BV11A411L7CK

注：学习 Spark 之前，一定要先学习 Scala 语言。在编程语言基础中，已经给出了 Scala 的详细学习推荐！

推荐书籍：《learning Spark》、《深入理解Spark 核心思想与源码分析》

---

Flink（重点！重点！重点！）：Flink 是一个分步式处理引擎，用于对无界和有界数据流进行状态计算。Flink 计算具有快速、灵巧、结果准确以及良好的容错性等一系列优点，被广泛用于各行各业的流式数据场景。

目前，国内形成以阿里为首的企业，腾讯，京东，滴滴，携程，美团等，都在使用 Flink框架。Flink 在大数据的流式计算占据着非常重要的地位，每一个大数据人都应该要掌握这门技术。

Flink 给大家推荐的是尚硅谷武老师的课，清华毕业的武老师把技术知识点剖析得非常透彻，该课程主要包含两个模块：Flink 理论基础和基于 Flink 得电商用户行为分析项目实战。

尚硅谷Flink链接：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

首的企业，腾讯，京东，滴滴，携程，美团等，都在使用 Flink框架。Flink 在大数据的流式计算占据着非常重要的地位，每一个大数据人都应该要掌握这门技术。

Flink 给大家推荐的是尚硅谷武老师的课，清华毕业的武老师把技术知识点剖析得非常透彻，该课程主要包含两个模块：Flink 理论基础和基于 Flink 得电商用户行为分析项目实战。

尚硅谷Flink链接：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-UEzTa5El-1713266168594)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！