RDD介绍

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_42201566/article/details/86085396

transformation 转换:

map:
lines.map(word => (word,1))

filter:
lines.filter(word => word.cotains("hello"))

flatmap 压扁:
一个输入对应多个输出
例如读取一个文本文件产生的结果 会全部在一层或者是一行 就是被压扁了
val inputs=sc.textFile("/user/test.txt")
val lines=inputs.flatMap(line=>line.split(" "))

集合运算
rdd1.distinct()    去重
rdd1.union(rdd2)   合并
rdd1.intersection(rdd2) 交集
rdd1.subtract(rdd2) rdd1 有  rdd2没有


action

在RDD上计算出一个结果 把结果返回给driver program:
reduce() 接收一个函数 作用在RDD两个类型相同的元素上 返回新元素
可以实现,RDD中元素的累加,计数 和其他类型的聚集操作

val rdd = sc.parallelize(Array(1,2,3,3))
rdd.reduce((x,y)=>x+y)

collect(): 遍历整个RDD,向driver program返回RDD内容
需要单机内存能够容纳下(因为数据要拷贝给driver,测试使用)
大数据时候,使用saveAsTextFile() action等

take(n): 返回RDD的n个元素(同时尝试访问最少的partition) 
         返回结果是无序的 测试使用


top(): 排序(根据RDD中数据的比较器)

foreach():  计算RDD中的每个元素,但不返回到本地
            可以配合println()友好打印出数据

lines.foreach(println)

 

RDDS的血统关系图:


    

spark维护着RDDS之间的依赖关系,叫做血统关系图
spark使用血统关系图来计算每个RDD的需求和恢复丢失数据

 

延迟计算(lazy Evaluation)


Spark 对RDDS的计算是 ,他们第一次使用action的时候
这种方式在处理大数据的时候特别有用,可以减少数据的传输
spark内部记录metadata表名transformations操作已经被响应了
加载数据也是延迟计算,数据只有在必要时候,才会被加载进去

 

展开阅读全文

没有更多推荐了,返回首页