最全Spark Streaming 简介与实战，面试题真题

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

实现原理如下：

（1）把程序中对DStream的操作转换成DStream Graph（依赖关系图）

（2）对于每个时间片，DStream Graph都会产生一个RDD Graph

（3）针对每个Output（print，forEachRdd）,创建一个Spark Action/Transform进行输出。

（4）输出过程是，Spark Job交给JobManager，JobManager中维护着一个Job Queue，把Job交给Spark scheduler，scheduler负责调度。

三、Spark Streaming系统架构

3.1 系统组件：

– Master：记录DStream之间的依赖关系或者血缘关系，并负责任务调度以生成新的RDD

– Worker：从网络接收数据，存储并执行RDD计算

– Client：负责向Spark Streaming中灌入数据

3.2 作业提交流程：

• Network Input Tracker：跟踪每一个网络received数据，并且将其映射到相应的input DStream上

• Job Scheduler：周期性的访问DStream Graph并生成Spark Job，将其交给Job Manager执行

• Job Manager：获取任务队列，并执行Spark任务

3.3 窗口操作：

• Spark提供了一组窗口操作，通过滑动窗口技术对大规模数据的增量更新进行统计分析

• Window Operation：定时进行一定时间段内的数据处理

• 任何基于窗口的操作需要指定两个参数：

1) 窗口总长度（window length）

2) 滑动时间间隔（slide interval）

val windowedWordCounts=pairs.reduceByKeyAndWindow(_+_,Seconds(30),Seconds(10))

四、Spark容错性分析

4.1 Worker容错：

同Spark：worker挂了将会导致partition失效，如果task依赖的上层partition数据已经失效了，则会先将其依赖的partition计算任务再重算一遍。

4.2 Driver容错：

1.Driver的出错情况

（1）当数据源（InputStream）是HDFS时，driver数据恢复机制不重要

（2）当数据源是kafka、Flume时，由于数据被worker executor接收至内存中，若driver挂了，executor内存中的数据就不可用了，此时需要容错机制——主要依赖预写日志(WAL)和持久化日志。

2.容错原理

step1.

（1）Executor中的Receiver接收到-数据后，存入内存，并写入HDFS上的log里

最后

🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！