pyspark学习之自定义分区

数据格式:
http://bigdata.xiaoniu.com/laoWang

bigdata:代表科目
laoWang:代表教师,一个老师可以教授不同的科目

目的:
按照不同的科目,按照访问量教师进行排序。

from pyspark import SparkContext,SparkConf
conf=SparkConf()
sc=SparkContext(conf=conf)
def MyPartition(x):
    sub=x[0]
    if sub=='java':
        return 0
    elif sub=='php':
        return 1
    elif sub=='bigdata':
        return 2
    else:
        return 3
def PartSort(x):
    xlist=list(x)
    a = sorted(xlist, key=lambda x: x[1], reverse=True)
    print(a)
    return iter(a)
def Fav_teacher():
    data=sc.textFile('sub')
    #切割每一条数据,得到的格式是(('java', 'laozhang'), 3)
    rdd1=data.map(lambda x:x.split(r'/')).map(lambda x:(x[2].split('.'),x[-1])).map(lambda x:(x[0][0],x[1])).map(lambda x:(x,1)).reduceByKey(lambda x,y:x+y)
 
    #自定义分区数量和方法
    my=rdd1.partitionBy(4,MyPartition)
    #对每个分区中的内容进行排序
    myPar=my.mapPartitions(PartSort)
    # print(my.collect())
    print(myPar.collect())
if __name__ == '__main__':
    Fav_teacher()

这样写会经历两次的shuffle,一个是reduceByKey和partitonBy;进一步修改代码,减少shuffle(在reduceBykey中加入分区的数量和方法,这样就不需要在从新分区了):

rdd1=data.map(lambda x:x.split(r'/')).map(lambda x:(x[2].split('.'),x[-1])).map(lambda x:(x[0][0],x[1])).map(lambda x:(x,1)).reduceByKey(lambda x,y:x+y,4,MyPartition)
    myPar=rdd1.mapPartitions(PartSort)
    # print(my.collect())
    print(myPar.collect())

如果有问题,请及时指正,不胜感激。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值