spark例子

MAP变换例子：

用map 给英语成绩+1分给数学成绩-1分

flatMap()

（1）reduce()：并行汇总所有RDD元素

reduce()参数是一个函数，这个函数有两个参数（首先会分区（默认分区数量与虚拟机的核心数有关，我的是2），然后每个分区得出结果最后汇总），两个参数分别是每次分区后两个分区的结果

执行过程：

分区：[(1,2),(3,4)]

第一次结果：[3,7]

最后结果：10

尝试理解减法操作：

分区：[(1,2),(3,4)]

第一次结果：[-1,-1]

最后结果：0

在这里我发现可以在后面传入分区的数量，分区数量不同导致结果不同

分区：[(1,2,3),(4,5,6)]

第一次结果：[(-1,3),(-1,6)]

第二次结果：[-4,-7]

最后结果：3

分区：[(1,2),(3,4),(5,6)]

第一次结果：[(-1,-1),(5,6)]

第二次结果：[0,-1]

最后结果：1

count()：返回RDD的元素个数

aggregate()：

flatMapValues() 例子：

把键和值一次一次的匹配一遍

例子1：

x=sc.parallelize([('a',[1,2,3]),('b',[5,6,7])])

def f(x):
    return x

x.flatMapValues(f).collect()

   输出结果

[('a', 1), ('a', 2), ('a', 3), ('b', 5), ('b', 6), ('b', 7)]

例子2：

countByValue 操作例子：

各RDD元素在RDD中出现次数

zip:

combineByKey():例子

统计平均分数：

countByKey():