代码+案例详解：使用Spark处理大数据最全指南（下）

（接上篇）

 

Spark应用实例

接下来用具体实例解决一些常见的转换。

所研究的数据集是Movielens（https://github.com/MLWhiz/spark_post），该数据集是一个稳定基准数据集。1700部电影中的1000名用户给出了100000份评分，发布于1998年4月。

 

Movielens数据集包含大量文件，但本文仅处理3个文件：

1. 用户: 此文件名为 “u.user”, 文件中的列如下：

['user_id', 'age', 'sex', 'occupation', 'zip_code']

 

2. 评分: 此文件名为 “u.data”, 文件中的列如下：

['user_id', 'movie_id', 'rating', 'unix_timestamp']

 

3. 电影: 此文件名为 “u.item”, 文件中的列如下：

['movie_id', 'title', 'release_date', 'video_release_date', 'imdb_url', and 18 more columns.....]

 

首先使用主页选项卡上的“导入和浏览数据”将这3个文件导入spark实例。

 

 

 

 

 

 

 

 

业务合作伙伴联络我们并要求从这些数据中找出25部评分最高的电影。一部电影会收到多少次评分？

在不同的RDD中加载数据，看看数据包含什么内容吧。

userRDD = sc.textFile("/FileStore/tables/u.user")
ratingRDD = sc.textFile("/FileStore/tables/u.data")
movieRDD = sc.textFile("/FileStore/tables/u.item")
print("userRDD:",userRDD.take(1))
print("ratingRDD:",ratingRDD.take(1))
print("movieRDD:",movieRDD.take(1))
-----------------------------------------------------------
userRDD: ['1|24|M|technician|85711']
ratingRDD: ['196\t242\t3\t881250949']
movieRDD: ['1|Toy Story (1995)|01-Jan-1995||http://us.imdb.com/M/title-exact?Toy%20Story%20(1995)|0|0|0|1|1|1|0|0|0|0|0|0|0|0|0|0|0|0|0']

 

值得注意的是，回答这个问题需要使用ratingRDD。但是ratingRDD中没有电影名称。

所以必须使用 movie_id合并movieRDD和ratingRDD。

如何在Spark中做到这一点？

以下是使用的代码。其中还使用了一个新的转换leftOuterJoin。请阅读以下代码中的文档和评论。

# Create a RDD from RatingRDD that only contains the two columns of interest i.e. movie_id,rating.
RDD_movid_rating = ratingRDD.map(lambda x : (x.split("\t")[1],x.split("\t")[2]))
print("RDD_movid_rating:",RDD_movid_rating.take(4))
# Create a RDD from MovieRDD that only contains the two columns of interest i.e. movie_id,title.
RDD_movid_title = movieRDD.map(lambda x : (x.split("|")[0],x.split("|")[1]))
print("RDD_movid_title:",RDD_movid_title.take(2))
# merge these two pair RDDs based on movie_id. For this we will use the transformation leftOuterJoin(). See the transformation document.
rdd_movid_title_rating = RDD_movid_rating.leftOuterJoin(RDD_movid_title)
print("rdd_movid_title_rating:",rdd_movid_title_rating.take(1))
# use the RDD in previous step to create (movie,1) tuple pair RDD
rdd_title_rating = rdd_movid_title_rating.map(lambda x: (x[1][1],1 ))
print("rdd_title_rating:",rdd_title_rating.take(2))
# Use the reduceByKey transformation to reduce on the basis of movie_title
rdd_title_ratingcnt = rdd_title_rating.reduceByKey(lambda x,y: x+y)
print("rdd_title_ratingcnt:&