前言
上一篇文章主要讲述了两种RDD的创建方式,本篇文章接着讲RDD的算子及其分类。
一、RDD的算子分类
RDD的算子主要有两种类型,一种是Transformation转换算子,另一种是Action动作算子,Transformation转换算子执行完成后会返回一个新的RDD,所有的Transformation转换算子都是Lazy,不会立即执行,需要Action算子触发;Action动作算子一般情况下都没有返回值,Action动作算子都是立即执行的。
注意:
(1)RDD不存储实际的数据,而是记录了数据的位置和数据的转换关系;
(2)RDD中所有转换算子都是惰性的,不会直接开始计算,需要Action动作算子触发才会开始计算。
二、Transformation转换算子
- 简介
转换算子表示将一个RDD通过一系列操作后转变成新RDD的过程,该过程有可能是简单的加减乘除