Spark Python API 学习(3)

常用API讲解-转换操作

---

Python知识补充：lambda表达式（重要）
在对RDD操作的过程中需要向Spark传递自定义函数，就需要用到Python的lambda表达式
格式：

lambda x: fun(x)  #将x传递给fun(x)函数

---

转换操作:RDD的转换操作是返回新RDD的操作

对单个RDD的转换操作API

1.filter():过滤器,接收的参数是一个函数，首先将RDD中的每个元素分别作用这个函数，然后筛选出符合这个函数的元素组成新的RDD
    rdd = sc.parallelize([1,2,2,3])
    result = rdd.filter(lambda x: x != 1) #过滤掉 x = 1 的元素，result的结果为内容为[2,2,3]的新RDD
    print(result.collect()) #collect()的作用是输出result的内容，collect()方法是行动操作，前边讲了，spark采取的是惰性运算，
                            #转化操作cpu实际是不计算的，只有到了行动操作cpu才进行计算。
2.distinct():去掉重复元素
    rdd = sc.parallelize([1,2,2,3])
    result = rdd.distinct() #去掉重复元素2,返回新的RDD，包含元素[1,2,3]
    print(result.collect()) #行动操作，程序只有行动操作cpu才会真正运算。
3.simple():没看懂，不知道干啥的
4.map():将函数应用于RDD中的每一个元素，将返回 值 组成新的RDD
    rdd = sc.parallelize([1,2,2,3])
    result = rdd.map(lambda x: x*x) #map函数将RDD中的每一个元素作用于lambda这个传递表达式，经过lambda返回新的元素组成新的RDD，包含元素[1,4,4,9]
    print(result.collect()) #行动操作，程序只有行动操作cpu才会真正运算。
5.flatMap():说实话，我并没有太分清他和map的区别，但是我用map的例子换成flatmap操作就报错，说什么不是迭代器。
            #接收的参数为传递表达式，将原RDD中的元素分别作用于传递进的函数，然后将所有的原RDD经过传递表达式产生的所有元素组成新的RDD。
            #多用来切分单词，具体例子可以看书34页，那个图比较明白。

对两个RDD的转换操作API

1.union():将连个RDD中的元素加起来，生成新的RDD
    rdd1 = sc.parallelize([1,2,3])
    rdd2 = sc.parallelize([3,4,5])
    rdd3 = rdd1.uoion(rdd2)
    print(rdd3.collect()) #输出[1,2,3,3,4,5],不合并相同元素
2.intersection():筛选出两个RDD中相同的元素组成新的RDD
    rdd1 = sc.parallelize([1,2,3])
    rdd2 = sc.parallelize([3,4,5])
    rdd3 = rdd1.uoion(rdd2)
    print(rdd3.collect()) #输出[3]
3.subtract():从前边的RDD中移除参数RDD中的元素
    rdd1 = sc.parallelize([1,2,3,4,5])
    rdd2 = sc.parallelize([3,4])
    rdd3 = rdd1.uoion(rdd2)
    print(rdd3.collect()) #输出[1,2,5]
4.cartesian():求两个RDD的笛卡尔积
    rdd1 = sc.parallelize([1,2,3])
    rdd2 = sc.parallelize([3,4,5])
    rdd3 = rdd1.uoion(rdd2)
    print(rdd3.collect()) #输出[(1, 4), (1, 5), (1, 6), (2, 4), (2, 5), (2, 6), (3, 4), (3, 5), (3, 6)]