Spark-RDD实例

最新推荐文章于 2024-06-01 09:04:37 发布

深夜的猫213

最新推荐文章于 2024-06-01 09:04:37 发布

阅读量3k

点赞数 3

分类专栏： Spark 文章标签： spark python

本文链接：https://blog.csdn.net/m0_46917254/article/details/124079167

版权

Spark 专栏收录该内容

5 篇文章 2 订阅

订阅专栏

本文介绍了使用Spark处理文本文件的几个实例，包括：计算TOP值，对多个文本文件中的整数进行排序并输出排序位次，以及实现二级排序。通过flatMap、map、sortByKey等函数实现数据预处理和排序，展示了Spark在大数据处理中的灵活性和高效性。

摘要由CSDN通过智能技术生成

综合实例

1.求TOP值

假设在某个目录下有若干个文本文件，每个文本文件里面包含了很多行数据，每行数据由4个数字构成，不同数字之间用逗号隔开。

在这里插入图片描述

如上：file1.txt和file2.txt里数据。

rdd = sc.textFile("file:///home/hadoop/program1/data/file*")     #读取文件内容
rdd1 = rdd.flatMap(lambda x:x.split(","))      #用逗号分割数据
rdd2 = rdd1.map(lambda x:(int(x),1))           #构建键值对，为下面排序做准备
rdd3 = rdd2.sortByKey(False)                    #两种排序方法
#rdd3 = rdd2.sortBy(lambda x:x[0],False) #sortBy这个方法是sortByKey的推广。前面是根据key值排序，而后面是根据定义的函数序 
rdd4 = rdd3.map(lambda x:x[0])                  #只取key值
rdd4.first()

结果：

在这里插入图片描述

2.文件排序

假设某个目录下有多个文本文件，每个文件中的每一列内容均为一个整数，要求读取所有文件中的整数，进行排序后，输出到一个新的文件中，输出的内容为每行两个整数，第一个整数为第二个整数的排序位次，第二个整数为原待排序的整数。

在这里插入图片描述

rdd = sc.textFile("file:///home/hadoop/program1/data/demo*")   #读取文件
# rdd1 = rdd.filter(lambda x:len(x.strip())>0)                 #去空格
rdd1 = rdd.map(lambda x:(int(x),1))
rdd2 = rdd1.sortByKey()
rdd3 = rdd2.map(lambda x:x[0])                               #同上面一样的操作
i = 0
def func():
    global i
    i += 1                                   #定义了一个自加器
    return i
rdd4 = rdd3.repartition(1)                 #进行重新分区，变为一个,要不然自加器会有问题
rdd5 = rdd4.map(lambda x:(func(),x))
rdd5.collect()

在这里插入图片描述

3.二次排序

对于给定文件，现在需要对文件中的数据进行二次排序，即首先根据第1列数据降序排序，如果第1列数据相等，则根据数据降序排序。

在这里插入图片描述

rdd = sc.textFile("file:///home/hadoop/program1/data/file3.txt")    
rdd1 = rdd.map(lambda x:((int(x.split(" ")[0]),int(x.split(" ")[1])),x))
from operator import gt
class SecondarySortKey():
    def __init__(self,x):
        self.a = x[0]
        self.b = x[1]                             #自定义类，首先根据x[0]排序，然后根据x[1]
    def __gt__(self,other):
        if other.a == self.a:
            return gt(self.b,other.b)
        else:
             return gt(self.a,other.a)                   
rdd2 = rdd1.map(lambda x:(SecondarySortKey(x[0]),x[1]))
rdd3 = rdd2.sortByKey(False)
rdd4 = rdd3.map(lambda x:x[1])
rdd4.collect()