spark--基本操作

王者荣耀的一个小案例

rdd=sc.textFile("/user/hadoop/wangzhe.csv")
print(rdd.collect())
print("=="*50)
#1,统计王者荣耀一共赚了多少钱
rdd1=rdd.map(lambda x:x.split(",")).map(lambda x:int(x[2]))
print(rdd1.collect())
rdd1.reduce(lambda x,y:x+y)
print("=="*50)
#,2分别统计每个区共花了多少钱
rdd2=rdd.map(lambda x:x.split(",")).map(lambda x:(x[1],int(x[2])))
print(rdd2.collect())
print("=="*50)
rdd2.reduceByKey(lambda x,y:x+y).collect()
#3,分别统计每个人花了多少钱
rdd2=rdd.map(lambda x:x.split(",")).map(lambda x:(x[0],int(x[2])))
print(rdd2.collect())
print("=="*50)
rdd2.reduceByKey(lambda x,y:x+y).collect()
#统计每个人每个区花了多少钱
rdd3=rdd.map(lambda x:x.split(",")).map(lambda x:((x[0],x[1]),int(x[2])))
print(rdd3.collect())
print("=="*50)
rdd4=rdd3.reduceByKey(lambda x,y:x+y)
#按钱进行排序
rdd4.sortBy