Spark 总复习

最新推荐文章于 2023-05-19 13:55:31 发布

喝着奶茶敲实验

最新推荐文章于 2023-05-19 13:55:31 发布

阅读量3.1k

点赞数 6

分类专栏： Spark 文章标签： spark scala big data

本文链接：https://blog.csdn.net/weixin_45756724/article/details/125360199

版权

Spark 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

一、基础题

1、Scala 语言的特性包含面向对象编程、函数式编程、静态类型、可扩展、可交互操作
2、Scala 中获取元祖中的值是通过下划线加脚标来获取的
3、Scala 中，模式匹配是由关键字match和case组成的
4、Scala 中提供的常见数据结构有数组、元祖、集合
5、在 Scala 中使用case关键字来定义的类被称为样例类
6、在 Scala 中使用object关键字创建的对象为单例对象
7、在 Scala 中Trait(特质) 的功能类似于Java中的接口
8、Spark 生态系统主要包括Spark Core、Spark SQL、Spark Streaming、MLib、GraphX以及独立调度器
9、Spark 的部署模式分为本地单机模式和集群模式，集群模式又分为Standalone模式、Mesos模式、Yarn模式
10、Spark 运行框架主要是由SparkContext、Cluster Manager、Worker组成
11、Spark 的特点，速度快、易用性、通用性、兼容性
12、Spark 是基于内存计算的大数据并行计算框架
13、配置 Spark 集群时，需要修改配置文件spark-env.sh、profile、slaves
14、RDD 是一个容错的并行的数据结构，本质为分布式的数据集合
15、创建 RDD 的方法是textFile和parallelize
16、RDD 采用了惰性调用，在 RDD 的处理过程中，真正的计算发生在RDD 的 “行动” 操作
17、RDD 的转换算子: filter(func)、map(func)、flatmap(func)、groupByKey(func)、reduceByKey(func)
18、RDD 的分区原则: Local模式下，分区的个数尽量等同于集群中 CPU 的核数，Standalone模式或者Yarn模式下，分区数"在集群中所有的 CPU 核数总和"与"2" 这两者中较大值为默认值，Mesos模式下，默认的分区数是8
19、RDD 的依赖关系分为宽依赖和窄依赖
20、RDD 持久化机制的存储级别默认的是MEMORY_ONLY
21、RDD 持久化操作有两个方法分别为cache() 方法和persist() 方法
22、RDD 提供了两种故障恢复的方式，分别是血统方式和设置检查点方式
23、消息传递模式分为点对点消息传递模式和发布订阅式消息传递模式
24、Kafka 的优点：解耦、高吞吐量低延迟、持久性、扩展性、容错性、支持多种客户端语言
25、Producer是数据的生产者，Consumer是数据的消费者
26、Kafka 集群是由生产者（Producer）、消息代理服务器（Broker Server）和消费者（Consumer）组成
27、Kafka 中消息的消费模型有两种，分别为推送模型（Push）和拉取模型（Pull）
28、Kafka 内置了一个流式处理框架客户端 Kafka Streams，开发者可以直接以Kafka为核心构建流式计算系统
29、Spark Streaming 的特点易用性、容错性、易整合性
30、Spark Streaming 支持从多种数据源获取数据，包括Kafka、Flume、Twitter、ZeroMQ等
31、Spark Streaming 中对DStream的转换操作会转换成对RDD的操作
32、Spark Streaming 提供了一个高级抽象的流，即DStream
33、Spark Streaming 中 DStream 的输出操作是真正触发 DStream 上所有转换操作进行计算
34、Scala 中，使用var声明变量，使用val声明常量
35、Scala 中可以使用def语句和val语句定义函数，而定义方法只能使用def语句
36、Scala 中的数组分为定长数组和变长数组

new Array[T](数组长度)  //定义定长数组
ArrayBuffer[T]()  //定义变长数组

37、在 Scala 中，可以使用Nil 和 ::操作符来定义列表
38、RDD 的行动算子：count()、first()、take(n)、reduce(func)、collect()、foreach(func)
39、当 RDD 执行 map、filter、union、join with inputs co-partitioned 操作时都会产生窄依赖
40、目前，业内已衍生出许多实时计算数据的框架，如Apache Spark Streaming、Apache Spark Storm、Apache Flink 以及 Yahoo! S4
41、DStream 可以通过Kafka、Flume 和 Kinesis 等数据源创建

二、简答题

1、论述Spark与Hadoop的区别

1）编程方式

a) Hadoop 的 MapReduce 在计算数据时，计算过程必须要转化为 Map 和 Reduce 两个过程，从而难以描述复杂的数据处理过程；
b) Spark 的计算模型不局限于 Map 和 Reduce 操作，还提供了多种数据集的操作类型，编程模型比 MapReduce 更加灵活

2）数据存储

a) Hadoop 每次产生的中间结果都存储在本地磁盘中
b) Spark 产生的中间结果存储在内存中

3）数据处理

a) Hadoop 每次执行数据处理都需要从磁盘中读取数据，导致磁盘的I/O开销较大
b) Spark 处理数据时，只需见将数据加载到内存中，之后直接在内存中加载中间结果数据集即可，减少了磁盘的I/O开销

4）数据容错

a) Hadoop 底层实现了备份机制，从而保证了数据容错
b) Spark RDD 实现了基于 Lineage 的容错机制和设置检查点的容错机制，弥补了数据在内存处理时断电丢失的问题

2、简述Spark集群的基本运行流程

1）spark集群启动后，Worker向Master注册信息，spark-submit命令提交程序后，driver和application也会向Master注册信息，创建SparkContext对象：主要的对象包含DAGScheduler和TaskScheduler
2）Driver把Application信息注册给Master后，Master会根据App信息去Worker节点启动Executor
3）Executor内部会创建运行task的线程池，然后把启动的Executor反向注册给Dirver
4）DAGScheduler：负责把Spark作业转换成Stage的DAG（Directed Acyclic Graph有向无环图），根据宽窄依赖切分Stage，然后把Stage封装成TaskSet的形式发送个TaskScheduler；同时DAGScheduler还会处理由于Shuffle数据丢失导致的失败；
5）TaskScheduler：维护所有TaskSet，分发Task给各个节点的Executor（根据数据本地化策略分发Task），监控task的运行状态，负责重试失败的task；
6）所有task运行完成后，SparkContext向Master注销，释放资源；

3、论述批量计算、流式计算、实时计算、离线计算的区别

实时计算和离线计算，主要是在数据处理延迟性上有不同的要求。
离线计算，通常也称为“批处理”，表示那些离线批量、延时较高的静态数据处理过程。
实时计算，通常也称为“实时流计算”、“流式计算”，表示那些实时或者低延时的流数据处理过程。
流式计算和批量计算主要是数据处理的方式不同。
流式计算，就是对数据流进行处理，是实时计算。
批量计算则统一收集数据，存储到数据库中，然后对数据进行批量处理的数据计算方式。

4、简述spark的容错机制

1）血统方式

根据RDD之间依赖关系对丢失数据的RDD进行数据恢复。窄依赖中，在子RDD的分区丢失、重算父RDD分区时，父RDD相应分区的所有数据都是子RDD分区的数据，并不存在冗余计算。在宽依赖中，则需要父RDD所有分区都要进行从头到尾计算，计算过程中存在冗余计算。

2）设置检查点（checkPoint）方式

当RDD进行宽依赖运算时，设置容错文件系统目录作为检查点，将检查点的数据写入之前设置的容错文件系统中进行持久化存储，若后面出现分区数据丢失，则从做检查点的RDD开始重新计算，不需要从头到尾的计算，从而减少开销。

5、论述RDD的五大特征

1）A list of partitions

一组分区：RDD由很多partition构成，有多少partition就对应有多少task

2）A function for computing each split

一个函数：对RDD做计算，相当于对RDD的每个split或partition做计算

3）A list of dependencies on other RDDs

RDD之间有依赖关系，可溯源

4）Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

一个Partitioner：即RDD的分片函数，如果RDD里面存的数据是key-value形式，则可以传递一个自定义的Partitioner进行重新分区

5）Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)

一个列表：存储存取每个Partition的优先位置（preferred location），计算每个split时，在split所在机器的本地上运行task是最好的，避免了数据的移动，split有多个副本，所以preferred location不止一个

6、简述如何在Spark中划分Stage

从最后一个RDD往前推，遇到窄依赖的父RDD时，就将这个父RDD加入子RDD所在的stage；遇到宽依赖的父RDD时就断开，父RDD被划分为新的stage。每个Stage里task的数量由Stage最后一个RDD中的分区数决定。如果Stage要生成Result，则该Stage里的Task都是ResultTask，否则是ShuffleMapTask。