1) RDD
1) 概念
RDD(Resilient Distributed Dateset),弹性分布式数据集。
2) RDD的五大特性:
1. RDD是由一系列的partition组成的。
2. 函数是作用在每一个partition(split)上的。
3. RDD之间有一些列的依赖关系。
4. 分区器是作用在K,V格式的RDD上。
5. RDD提供一系列最佳的计算位置。
2) RDD理解图:
*注意:
textFile方法底层封装的是读取MR读取文件的方式,读取文件之前先split,默认split大小是一个block大小。
RDD实际上不存储数据,这里方便理解,暂时理解为存储数据。
*什么是K,V格式的RDD?
如果RDD里面存储的数据都是二元组对象,那么这个RDD我们就叫做K,V格式的RDD。
*哪里体现RDD的弹性(容错)?
partition数量,大小没有限制,体现了RDD的弹性。
RDD之间依赖关系,可以基于上一个RDD重新计算出RDD。
*哪里体现RDD的分布式?
RDD是由Partition组成,partition是分布在不同节点上的。
RDD提供计算最佳位置,体现了数据本地化。体现了大数据中“计算移动数据不移动”的理念。
3)Spark任务执行原理
以上图中有四个机器节点,Driver和Worker是启动在节点上的进程,运行在JVM中的进程。
Ø Driver与集群节点之间有频繁的通信。
Ø Driver负责任务(tasks)的分发和结果的回收。任务的调度。如果task的计算结果非常大就不要回收了。会造成oom。
Ø Worker是Standalone资源调度框架里面资源管理的从节点。也是JVM进程。
Ø Master是Standalone资源调度框架里面资源管理的主节点。也是JVM进程。
4)Spark代码流程
1 . 创建SparkConf对象
Ø 可以设置Applicationname。
Ø 可以设置运行模式及资源需求。
2. 创建SparkContext对象
3. 基于Spark的上下文创建一个RDD,对RDD进行处理。
4. 应用程序中要有Action类算子来触发Transformation类算子执行。
关闭Spark上下文对象SparkContext。5 ) Transformations转换算子
1.概念:
Transformations类算子是一类算子(函数)叫做转换算子,如map,flatMap,reduceByKey等。Transformations算子是延迟执行,也叫懒加载执行。
Transformation类算子:
Ø filter 过滤符合条件的记录数,true保留,false过滤掉。
Ø map 将一个RDD中的每个数据项,通过map中的函数映射变为一个新的元素。 特点:输入一条,输出一条数据。
Ø flatMap 先map后flat。与map类似,每个输入项可以映射为0到多个输出项。
Ø sample 随机抽样算子,根据传进去的小数按比例进行又放回或者无放回的抽样。
Ø reduceByKey 将相同的Key根据相应的逻辑进行处理。 Ø sortByKey/sortBy 作用在K,V格式的RDD上,对key进行升序或者降序排序。 |
6 ) Action行动算子
Ø count 返回数据集中的元素数。会在结果计算完成后回收到Driver端。
Ø take(n) 返回一个包含数据集前n个元素的集合。
Ø first first=take(1),返回数据集中的第一个元素。
Ø foreach 循环遍历数据集中的每个元素,运行相应的逻辑。
Ø collect 将计算结果回收到Driver端。
|
ü 思考:一千万条数据量的文件,过滤掉出现次数多的记录,并且其余记录按照出现次数降序排序。
............................未完待续........................