PySpark学习笔记—Action算子

countByKey算子

# countByKey算子—Action，统计key出现的次数（一般适用于KV型RDD）
conf = SparkConf().setAppName("WordCount").setMaster("local")
sc = SparkContext(conf=conf)  # 构建SparkContext执行环境入口
# 读取数据
input_file = "../pySpark/data/words.txt"
rdd1 = sc.textFile(input_file)
rdd2 = rdd1.flatMap(lambda x: x.split(' '))
rdd3 = rdd2.map(lambda x: (x, 1))
result = rdd3.countByKey()
print(result)
# 结果：defaultdict(<class 'int'>, {'hello': 3, 'spark': 1, 'hadoop': 1, 'flink': 1})

collect算子—Action

collect算子—Action，将RDD各个分区内的数据，统一收集到Driver中，形成一个list对象. 该算子可以将RDD各个分区的数据都拉取到Driver，所以在使用collect算子前，数据集最好不要太大，否则会把Driver内存撑爆

reduce算子—Action

# reduce算子—Action，对RDD数据集按照传入的逻辑进行聚合
conf = SparkConf().setAppName("WordCount").setMaster("local")
sc = SparkContext(conf=conf)  # 构建SparkContext执行环境入口
rdd = sc.parallelize(range(1, 10))
print(rdd.reduce(lambda a, b: a + b))
# 结果：45

fold算子—Action

# fold算子—Action，和reduce一样，接受传入的逻辑进行聚合，聚合带有初始值
# 初始值聚合可以作用在1.分区内聚合，2.分区间聚合
conf = SparkConf().setAppName("WordCount").setMaster("local")
sc = SparkContext(conf=conf)  # 构建SparkContext执行环境入口
rdd = sc.parallelize(range(1, 10), 3)
# 分区聚合1,2，3聚合时带上初始值10，得到16
# 3个分区的结果做聚合时也带上初始值10
print(rdd.fold(10, lambda a, b: a + b))

first算子—Action

# first算子—Action，取出RDD的第一个元素
sc.parallelize([3, 2, 1, 9]).first()

take算子—Action

# take算子—Action，取出RDD的前N个元素，组合成list返回
sc.parallelize([3, 2, 1, 4, 5, 6]).take(5)

top算子—Action

# top算子—Action，对RDD数据集进行降序排序，取前N个
sc.parallelize([3, 2, 1, 4, 6, 7, 5, 9]).top(3)

count算子—Action

# count算子—Action，计算RDD有多少条数据，返回一个数字
sc.parallelize([3, 4, 5, 3, 6, 7, 8]).count()

takeSample算子—Action

# takeSample算子—Action，随机抽样RDD的数据
# rdd.takeSample(参数1：True or False，参数2：采样数，参数3：随机数种子)
# 参数1：True表示运行去同一个数据，False表示不允许取同一个数据
# 参数2：抽样要几个
# 参数三：随机数种子，一般不传，Spark会自动给随机数种子
conf = SparkConf().setAppName("WordCount").setMaster("local")
sc = SparkContext(conf=conf)  # 构建SparkContext执行环境入口
rdd = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9, 10], 1)
print(rdd.takeSample(True, 4))
# 结果：[9, 7, 5, 10]

takeOrdered算子—Action

# takeOrdered算子—Action,对RDD进行排序取前n个
# rdd.takeOrdered(参数1, 参数2)
# 参数1：取出多少个数据
# 参数2：对排序的数据进行更改（不会改变数据本身，只是在排序的时候换个样子）
conf = SparkConf().setAppName("WordCount").setMaster("local")
sc = SparkContext(conf=conf)  # 构建SparkContext执行环境入口
rdd = sc.parallelize([1, 3, 2, 4, 6, 5, 8, 7, 0], 1)
print(rdd.takeOrdered(3))
# 将数字转化为负数，那么，原本正数最大的，反而变成排序最小的，出现在前面
print(rdd.takeOrdered(3, lambda x: -x))

foreach算子—Action

# foreach算子—Action，对RDD的每一个元素，执行你提供的逻辑的操作，但是这个方法没有返回值
conf = SparkConf().setAppName("WordCount").setMaster("local")
sc = SparkContext(conf=conf)  # 构建SparkContext执行环境入口
rdd = sc.parallelize([1, 3, 2, 4, 6, 5, 8, 7, 0], 1)
# 对数据执行乘以10的操作
# 由于函数不能给返回值，所以需要直接打印
r = rdd.foreach(lambda x: print(x * 10))
print(r)  # 返回None

saveAsTextFile

saveAsTextFile和foreach保存文件API是分布式执行的，这儿API的执行数据时不经过driver每个分区直接写出

rdd.saveAsTextFile("../pySpark/data/111")