pyspark学习之自定义分区

数据格式:
http://bigdata.xiaoniu.com/laoWang

bigdata:代表科目
laoWang:代表教师,一个老师可以教授不同的科目

目的:
按照不同的科目,按照访问量教师进行排序。

from pyspark import SparkContext,SparkConf
conf=SparkConf()
sc=SparkContext(conf=conf)
def MyPartition(x):
    sub=x[0]
    if sub=='java':
        return 0
    elif sub=='php':
        return 1
    elif sub=='bigdata':
        return 2
    else:
        return 3
def PartSort(x):
    xlist=list(x)
    a = sorted(xlist, key=lambda x: x[1], reverse=True)
    print(a)
    return iter(a)
def Fav_teacher():
    data=sc.textFile('sub')
    #切割每一条数据,得到的格式是(('java', 'laozhang'), 3)
    rdd1=data.map(lambda x:x.split(r'/')).map(lambda x:(x[2].split('.'),x[-1])).map(lambda x:(x[0][0],x[1])).map(lambda x:(x,1)).reduceByKey(lambda x,y:x+y)
 
    #自定义分区数量和方法
    my=rdd1.partitionBy(4,MyPartition)
    #对每个分区中的内容进行排序
    myPar=my.mapPartitions(PartSort)
    # print(my.collect())
    print(myPar.collect())
if __name__ == '__main__':
    Fav_teacher()

这样写会经历两次的shuffle,一个是reduceByKey和partitonBy;进一步修改代码,减少shuffle(在reduceBykey中加入分区的数量和方法,这样就不需要在从新分区了):

rdd1=data.map(lambda x:x.split(r'/')).map(lambda x:(x[2].split('.'),x[-1])).map(lambda x:(x[0][0],x[1])).map(lambda x:(x,1)).reduceByKey(lambda x,y:x+y,4,MyPartition)
    myPar=rdd1.mapPartitions(PartSort)
    # print(my.collect())
    print(myPar.collect())

如果有问题,请及时指正,不胜感激。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,我理解了你的问题。下面是一个示例代码,用于创建一个自定义分区类,其规则是将首字母相同的行放在同一个分区中: ```python class FirstNamePartitioner: def __init__(self, num_partitions): self.num_partitions = num_partitions def __call__(self, key): first_name = key.split()[0].upper() partition_num = ord(first_name[0]) - 65 return partition_num % self.num_partitions ``` 在这个自定义分区类中,我们先通过空格将键值对的键(即每行数据的第一个单词,即姓名)分割开来,然后取出首字母并转化为大写字母。接着,我们将首字母的 ASCII 码减去 65(即字母 A 的 ASCII 码),然后取余数,以得到对应的分区编号。最后,我们将分区编号返回。 在主方法中,我们可以这样使用这个自定义分区类: ```python from pyspark import SparkConf, SparkContext conf = SparkConf().setAppName("Custom Partitioning").setMaster("local[*]") sc = SparkContext(conf=conf) # 读取文本文件 lines = sc.textFile("file:///home/user/data/names.txt") # 创建自定义分区类 partitioner = FirstNamePartitioner(26) # 对键值对进行分区 partitioned = lines.map(lambda x: (x, None)).partitionBy(26, partitioner).map(lambda x: x[0]) # 打印分区结果 for i in range(26): print("Partition {}: {}".format(i, partitioned.glom().collect()[i])) ``` 这里,我们首先读取了一个文本文件,然后创建了一个自定义分区类 `FirstNamePartitioner`,并将其作为参数传递给 `partitionBy` 方法。最后,我们将分区结果打印出来,以便检验分区规则是否正确。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值