PySpark:parallelize, collect, map, reduce等API的简单用法

RDD数据类型

RDD（Resilient Distributed DataSet）是一种弹性分布式数据集，是Spark的核心，其可以有由稳定存储中的数据通过转换（transformation）操作得到。RDD数据是一种可以并行操作的数据，它在创建的时候已经分区，且每次对RDD操作的结果可以放到高速缓存中，省去了MapReduce频繁的磁盘IO。

针对RDD数据的操作/函数有两种类型：转换（transformation）和动作（action）。

transformation类型：从一个RDD转化到另一个RDD的函数。

action类型：非RDD与RDD之间的相互转化的函数。

1. parallelize()、collect()和glom()

arallelize()函数将一个List列表转化为了一个RDD对象，collect()函数将这个RDD对象转化为了一个List列表。

parallelize()函数的第二个参数表示分区，默认是1，此处为2，表示将列表对应的RDD对象分为两个区。

glom()函数就是要显示出RDD对象的分区情况，可以看出分了两个区，如果没有glom()函数，则不显示分区

2. map()

参数是函数，函数应用于RDD每一个元素，返回值是新的RDD
示例一：对每个数据加1操作

示例二：将每个参数转换成(x,1)形式

3.flatMap()

参数是函数，函数应用于RDD每一个元素，将元素数据进行拆分，变成迭代器，返回值是新的RDD

4.filter()

参数是函数，函数会过滤掉不符合条件的元素，返回值是新的RDD
示例：对每个参数加1，过滤取大于5的数据

5.distinct()

没有参数，将RDD里的元素进行去重操作

6.union()

参数是RDD，生成包含两个RDD所有元素的新RDD

7.intersection()

参数是RDD，求出两个RDD的共同元素

8.reduce()

并行整合所有RDD数据，例如求和操作，最终只返回一个值

9.reduceByKey()

reduceByKey()将Key相同的元素合并

总结：reduce()和reduceByKey()的区别？
reduce()最终只返回一个值
reduceByKey()将Key相同的元素合并

reduce()将RDD转化为非RDD对象
reduceByKey()将RDD对象转化为另一个RDD对象，需要collect()函数才能输出

10.groupByKey()

将数据分组

11.sortByKey(False)

降序或者正序排序