Rdd编程(林子雨版本)
1.P146
本地文件系统加载数据
从分布式文件系统hdfs
通过并行集合(数组)
(1)
(2)
RDD被创建好以后,在后续使用过程中一般会发生两种操作:
- 转换(Transformation): 基于现有的数据集创建一个新的数据集。
- 行动(Action):在数据集上进行运算,返回计算值。
转换操作
对于RDD而言,每一次转换操作都会产生不同的RDD,供给下一个“转换”使用。转换得到的RDD是惰性求值的,也就是说,整个转换过程只是记录了转换的轨迹,并不会发生真正的计算,只有遇到行动操作时,才会发生真正的计算,开始从血缘关系源头开始,进行物理的转换操作。
下面列出一些常见的转换操作(Transformation API): - filter(func):筛选出满足函数func的元素,并返回一个新的数据集
如果line包含Spark就把元素加到rdd 中
P116
-
map(func):将每个元素传递到函数func中,并将结果返回为一个新的数据集
-
flatMap(func):与map()相似,但每个输入元素都可以映射到0或多个输出结果
-
groupByKey():应用于(K,V)键值对的数据集时,返回一个新的(K, Iterable)形式的数据集
-
reduceByKey(func):应用于(K,V)键值对的数据集时,返回一个新的(K, V)形式的数据集,其中的每个值是将每个key传递到函数func中进行聚合
行动操作
行动操作是真正触发计算的地方。Spark程序执行到行动操作时,才会执行真正的计算,从文件中加载数据,完成一次又一次转换操作,最终,完成行动操作得到结果。
下面列出一些常见的行动操作(Action API):
- count() 返回数据集中的元素个数
- collect() 以数组的形式返回数据集中的所有元素
- first() 返回数据集中的第一个元素
- take(n) 以数组的形式返回数据集中的前n个元素
- reduce(func) 通过函数func(输入两个参数并返回一个值)聚合数据集中的元素
- foreach(func) 将数据集中的每个元素传递到函数func中运行
惰性机制
出现问题在地址
持久化
触发一次从头开始的计算
例子1:
例子2:
会调用persist(MEMORY_ONLY)
rdd.persist(MEMORY_ONLY)
,但是语句执行这里,并不会缓存rdd,因为这时rdd还没计算生成,数据调用速度变快,
分区
一个实例
课后题
(1)该系总共有多少学生
分割根据,分割,取第一个数值——名字
把名字相同的去掉重复的
(2)该系共开设多少门课程
(3)Tom 同学的总成绩平均分是多少