spark--基本操作

最新推荐文章于 2024-04-02 09:15:00 发布

忘了时间的朱

最新推荐文章于 2024-04-02 09:15:00 发布

阅读量289

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/qq_41655148/article/details/80260561

版权

本文通过王者荣耀案例，介绍了Spark中RDD的几种关键操作，包括内连接（join）、右连接（rightOuterJoin）、左连接（leftOuterJoin）、全连接（cogroup）和减连接（subtractByKey）。同时，还探讨了combineByKey的使用示例。

摘要由CSDN通过智能技术生成

王者荣耀的一个小案例

rdd=sc.textFile("/user/hadoop/wangzhe.csv")
print(rdd.collect())
print("=="*50)
#1,统计王者荣耀一共赚了多少钱
rdd1=rdd.map(lambda x:x.split(",")).map(lambda x:int(x[2]))
print(rdd1.collect())
rdd1.reduce(lambda x,y:x+y)
print("=="*50)
#,2分别统计每个区共花了多少钱
rdd2=rdd.map(lambda x:x.split(",")).map(lambda x:(x[1],int(x[2])))
print(rdd2.collect())
print("=="*50)
rdd2.reduceByKey(lambda x,y:x+y).collect()
#3,分别统计每个人花了多少钱
rdd2=rdd.map(lambda x:x.split(",")).map(lambda x:(x[0],int(x[2])))
print(rdd2.collect())
print("=="*50)
rdd2.reduceByKey(lambda x,y:x+y).collect()
#统计每个人每个区花了多少钱
rdd3=rdd.map(lambda x:x.split(",")).map(lambda x:((x[0],x[1]),int(x[2])))
print(rdd3.collect())
print("=="*50)
rdd4=rdd3.reduceByKey(lambda x,y:x+y)
#按钱进行排序
rdd4.sortBy