spark算子集锦

Spark 是大数据领域的一大利器，花时间总结了一下 Spark 常用算子，正所谓温故而知新。

Spark 算子按照功能分，可以分成两大类：transform 和 action。Transform 不进行实际计算，是惰性的，action 操作才进行实际的计算。如何区分两者？看函数返回，如果输入到输出都是RDD类型，则认为是transform操作，反之为action操作。

准备

准备阶段包括spark-shell 界面调出以及数据准备。spark-shell 启动命令如下：

bin/spark-shell --master local[*]

其中local[*]是可以更改的，这里启用的是本地模式，出现下面这个界面，恭喜，可以开撸了！

有一点需要说明，sc 和 spark 可以直接在命令行调用，其提示信息如下：

Spark context available as ‘sc’ (master = local[*], app id = local-1547409645312).

Spark session available as ‘spark’.

数据准备

val content =Array("11,Alex,Columbus,7","12,Ryan,New York,8","13,Johny,New York,9","14,Cook,Glasgow,6","15,Starc,Aus,7","16,eric,New York,4","17,richard,Columbus,3")

数据加载和处理

val test_tmp_RDD =sc.parallelize(content).map(line =