spark Rdd 操作transformaction和action等

为什么80%的码农都做不了架构师？>>>   

transformation是惰性的，只有action操作的时候，才会真正执行。spark有很多api，RDD的api只是spark的一部分，是我们用的最多的api，在命令行使用的RDD很方便，但是想要看这些api的后台，可以使用IDE，在IDE里面写spark应用，可以观察的更清楚。

官网有最新的RDD Operations，可以好好参考。

一、Rdd的创建

1 通过已经存在的Scala集合，如：val paraRdd = sc.parallelize(1 to 9, 3);后面那个3是指有三个分区

2 通过HDFS、Hbase等，如：val hdfsRdd = sc.textFile("/usr/ouput", 3);如果/usr/ouput是个文件夹，那么就会把所有的子文件当成一个Rdd。3指的是这个Rdd最少有3个分区，有可能会有更多的分区。

3 其它的RDD的转换，如map操作，就会产生新的Rdd

二、transformation相当于一个转换，会将一个RDD转换，并返回一个新的RDD

1.filter，过滤

scala> textFile.filter(line => line.contains("hello")).count() // 有多少行含有hello 

Rdd里面每行元素都执行filter里的方法，只有返回true的元素才不会被过滤，返回false的元素会被过滤掉。

2.map，对Rdd中每一行元素执行一个函数，并且只会返回一行元素，对比flatMap，如下：

val inputMapRdd = inputRdd.map(line => line.split(" "));

用空格分开来的数据是一个数组，这个数组是Rdd的一个元素。

3.flatMap，对Rdd中每一行元素执行一个函数，有可能返回多行元素，如下：

val inputFlatMapRdd = inputRdd.flatMap(line => line.split(" "));

被空格分开来的每一个数据都是一行元素，这是跟map的本质区别。

4.mapPartitions，对每个partition统一执行函数，比如要对数据库操作时，可以使用此函数

下面这篇文章讲的非常详细，参考：Spark RDD API详解(一) Map和Reduce

5.union，将两个RDD进行合并，不去重。

6.intersection,两个RDD的交集，并且去重。

7.subtract,该函数类似于intersection，但返回在RDD中出现，并且不在otherRDD中出现的元素，不去重。

8.aggregate

def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U

先用函数seqOp对分区每个元素进行操作，然后在和zeroValue操作得到每个分区的值

再用combOp对每个分区的值进行操作，，然后在和zeroValue操作得到最后的值

参考：Spark算子：RDD行动Action操作(3)–aggregate、fold、lookup

9.fold函数同aggregate，只是把seqOp和combOp都使用同一个op函数

def fold(zeroValue: T)(op: (T, T) ⇒ T): T

参考：Spark算子系列文章

三、action相当于执行一个动作，会返回一个结果：

1.count计算行数

scala> textFile.count() // RDD中有多少行 

四、缓存persist，cache

1.cache缓存在内存级别

2.persist缓存级别可调整

3.unpersist移除缓存

五、其他

1.toDebugString

A description of this RDD and its recursive dependencies for debugging.

2.partitions

查看Rdd的partition的数量，如：localRdd.partitions.size。

3.collect，当数据量大时，一定不要使用此方法。

返回Rdd的每一个元素，用数组保存，如果每个元素都是数组，那么就是数组里面包含数组。

参考：

spark中的action和transformation

Spark编程指引(三)-----------------RDD操作，shuffle和持久化

RDD：基于内存的集群计算容错抽象

Spark RDD API详解

 

转载于:https://my.oschina.net/cjun/blog/621593