数据格式:
http://bigdata.xiaoniu.com/laoWang
bigdata:代表科目
laoWang:代表教师,一个老师可以教授不同的科目
目的:
按照不同的科目,按照访问量教师进行排序。
from pyspark import SparkContext,SparkConf
conf=SparkConf()
sc=SparkContext(conf=conf)
def MyPartition(x):
sub=x[0]
if sub=='java':
return 0
elif sub=='php':
return 1
elif sub=='bigdata':
return 2
else:
return 3
def PartSort(x):
xlist=list(x)
a = sorted(xlist, key=lambda x: x[1], reverse=True)
print(a)
return iter(a)
def Fav_teacher():
data=sc.textFile('sub')
#切割每一条数据,得到的格式是(('java', 'laozhang'), 3)
rdd1=data.map(lambda x:x.split(r'/')).map(lambda x:(x[2].split('.'),x[-1])).map(lambda x:(x[0][0],x[1])).map(lambda x:(x,1)).reduceByKey(lambda x,y:x+y)
#自定义分区数量和方法
my=rdd1.partitionBy(4,MyPartition)
#对每个分区中的内容进行排序
myPar=my.mapPartitions(PartSort)
# print(my.collect())
print(myPar.collect())
if __name__ == '__main__':
Fav_teacher()
这样写会经历两次的shuffle,一个是reduceByKey和partitonBy;进一步修改代码,减少shuffle(在reduceBykey中加入分区的数量和方法,这样就不需要在从新分区了):
rdd1=data.map(lambda x:x.split(r'/')).map(lambda x:(x[2].split('.'),x[-1])).map(lambda x:(x[0][0],x[1])).map(lambda x:(x,1)).reduceByKey(lambda x,y:x+y,4,MyPartition)
myPar=rdd1.mapPartitions(PartSort)
# print(my.collect())
print(myPar.collect())
如果有问题,请及时指正,不胜感激。