Spark计算模型

一 Spark程序示例

数据处理流水线：

val file=sc.textFile("hdfs://XXX")          //1 输入与构造RDD

val errors=file.filter(line=>line.contains("ERROR"))           //2 转换Transformation

errors.count()       //输出Action

归纳为：数据结构RDD+算法（两类RDD函数支撑）

二 属性

1 partition:A list of partions

2 computer:A function for computing each split

3 dependencies:A list of dependencies on other RDDS

4 patitioner

5 preferedLocations:Optianlly,a list of preferred locations to compute each split on(e.g. block locations for HDFS file)

三 RDD两类基础函数

1 转换（Transformations）

Transformations操作是延迟计算的。

map(func):对调用map的RDD数据集中的每一个element都使用func，然后返回一个新的RDD，这个返回数据集是分布式的数据集。

filter(func):对调用filter的RDD数据集中的每个元素都使用func，然后返回一个包含使func为true的元素构成的RDD

reduceBykey(func,[numTasks]):就是用一个给定的reduce func再作用在groupByKey产生的(K,seq[V]),比如求和，求平均数

2 行动（Actions）

Action算子会触发Spark提交作业（Job），并将数据输出Spark系统。

reduce(func):说白了就是聚集，但是传入的函数是两个参数输入返回一个值，这个函数必须是满足交换律和结合律的、

collect():一般在filter或者足够小的结果的时候，再用collect封装返回一个数组。

count():返回的是dataset中的element的个数

first()：返回的是dataset中的第一个元素

take(n):返回前n个elements，这个是driver program返回的