RDD介绍

transformation 转换：

map：
lines.map(word => (word,1))

filter:
lines.filter(word => word.cotains("hello"))

flatmap 压扁:
一个输入对应多个输出
例如读取一个文本文件产生的结果 会全部在一层或者是一行 就是被压扁了
val inputs=sc.textFile("/user/test.txt")
val lines=inputs.flatMap(line=>line.split(" "))

集合运算
rdd1.distinct()    去重
rdd1.union(rdd2)   合并
rdd1.intersection(rdd2) 交集
rdd1.subtract(rdd2) rdd1 有  rdd2没有

action

在RDD上计算出一个结果 把结果返回给driver program:
reduce() 接收一个函数 作用在RDD两个类型相同的元素上 返回新元素
可以实现，RDD中元素的累加，计数 和其他类型的聚集操作

val rdd = sc.parallelize(Array(1,2,3,3))
rdd.reduce((x,y)=>x+y)

collect(): 遍历整个RDD，向driver program返回RDD内容
需要单机内存能够容纳下（因为数据要拷贝给driver，测试使用）
大数据时候，使用saveAsTextFile() action等

take(n): 返回RDD的n个元素（同时尝试访问最少的partition） 
         返回结果是无序的 测试使用

top(): 排序（根据RDD中数据的比较器）

foreach():  计算RDD中的每个元素，但不返回到本地
            可以配合println()友好打印出数据

lines.foreach(println)

 

RDDS的血统关系图：

    

spark维护着RDDS之间的依赖关系，叫做血统关系图
spark使用血统关系图来计算每个RDD的需求和恢复丢失数据

 

延迟计算（lazy Evaluation）

Spark 对RDDS的计算是 ，他们第一次使用action的时候
这种方式在处理大数据的时候特别有用，可以减少数据的传输
spark内部记录metadata表名transformations操作已经被响应了
加载数据也是延迟计算，数据只有在必要时候，才会被加载进去