Spark-SQL 面试准备 1

Spark Knowledge NO.1

1. spark中的RDD是什么，有哪些特性？

答：RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合

Resilient：表示弹性的，弹性表示

Dataset：就是一个集合，用于存放数据的

Destributed：分布式，可以并行在集群计算

1.RDD中的数据可以存储在内存或者磁盘中；

2.RDD中的分区是可以改变的；

五大特性：

1. A list of partitions：一个分区列表，RDD中的数据都存储在一个分区列表中
2. A function for computing each split：作用在每一个分区中的函数
3. A list of dependencies on other RDDs：一个RDD依赖于其他多个RDD，这个点很重要，RDD的容错机制就是依据这个特性而来的
4. Optionally, a Partitioner for key-value RDDs(eg:to say that the RDD is hash-partitioned)：可选的，针对于kv类型的RDD才有这个特性，作用是决定了数据的来源以及数据处理后的去向
5. 可选项，数据本地性，数据位置最优

2. 概述一下spark中的常用算子区别（map, mapPartitions, foreach, foreachPatition）

答：map：用于遍历RDD，将函数应用于每一个元素，返回新的RDD（transformation算子）

foreach：用于遍历RDD，将函数应用于每一个元素，无返回值（action算子）

mapPatitions：用于遍历操作RDD中的每一个分区，返回生成一个新的RDD（transformation算子）

foreachPatition：用于遍历操作RDD中的每一个分区，无返回值（action算子）

总结：一般使用mapPatitions和foreachPatition算子比map和foreach更加高效，推荐使用

3. 谈谈spark中的宽窄依赖：

​ 图中左边是宽依赖，父RDD的4号分区数据划分到子RDD的多个分区࿰