问题:
现有数据 data = ((‘crystal’,90,22),(‘crystal1’,100,28),(‘crystal3’,100,22))
现在对data 进行排序
排序规则:
1 按元组中的第二个字段排序
2 第二个字段相等的话,按第三个字段排序
实现思路:
定义一个列表元素类,每一个元素都可以实例化成这个类的对象
定义类的比较规则,比较规则即为需求规则,
然后将RDD远程实例化成类,进行排序即可
实现代码:
from operator import gt
from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName('myFirstApp').setMaster('local')
sc = SparkContext(conf = conf)
class MySort():
def __init__(self,list):
self.rdd = sc.parallelize(list)
@staticmethod
def _toGirl(x):
return Girl(x[0],x[1],x[2])
def sort(self,ascending=True):
return self.rdd.sortBy(self._toGirl,ascending) ##按Girl的比较规则进行排序
class Girl():
def __init__(self,name,faceValue,age):
self.name = name
self.faceValue =faceValue
self.age = age
def __gt__(self,other):#实现__gt__方法,定义比较规则,python2 中用__cmp__方法
if other.faceValue == self.faceValue:
return gt(self.age,other.age)
else:
return gt(self.faceValue, other.faceValue)
def __repr__(self):
return self.name
l = [('crystal',90,22),('crystal1',100,28),('crystal3',100,22)]
s = MySort(l)
print(s.sort(ascending=False).collect())
- 打印结果:
[(‘crystal1’, 100, 28), (‘crystal3’, 100, 22), (‘crystal’, 90, 22)]