算子的分类和 宽依赖算子、窄依赖算子

一、转换算子

转换算子：Transformation，懒执行，需要Action触发执行

filter

过滤 RDD[T]==>RDD[T],窄依赖

map

RDD[T] ->RDD[O], 窄依赖

flatMap

RDD[T]–>RDD[[O]],一对多 ，窄依赖,

mapToPair

sample

抽样算子 RDD[T]–>RDD[O],窄依赖

sortBy

RDD[T]–>RDD[T], 根据你指定的内容排序 宽依赖

sortByKey

根据你的K排序，要求RDD中必须是KV的，宽依赖

reduceByKey

根据RDD的K分组之后聚合(累加，字符串连接) ， 宽依赖

join

把两个RDD根据K相同合并，结果RDD[K,(V1,V2)] ，宽依赖

leftOuterJoin

左连接 和下面的一致 都是宽依赖

rightOuterJoin