Spark应用实例
接下来用具体实例解决一些常见的转换。
所研究的数据集是Movielens(https://github.com/MLWhiz/spark_post),该数据集是一个稳定基准数据集。1700部电影中的1000名用户给出了100000份评分,发布于1998年4月。
Movielens数据集包含大量文件,但本文仅处理3个文件:
1. 用户: 此文件名为 “u.user”, 文件中的列如下:
['user_id', 'age', 'sex', 'occupation', 'zip_code']
2. 评分: 此文件名为 “u.data”, 文件中的列如下:
['user_id', 'movie_id', 'rating', 'unix_timestamp']
3. 电影: 此文件名为 “u.item”, 文件中的列如下:
['movie_id', 'title', 'release_date', 'video_release_date', 'imdb_url', and 18 more columns.....]
首先使用主页选项卡上的“导入和浏览数据”将这3个文件导入spark实例。
业务合作伙伴联络我们并要求从这些数据中找出25部评分最高的电影。一部电影会收到多少次评分?
在不同的RDD中加载数据,看看数据包含什么内容吧。
userRDD = sc.textFile("/FileStore/tables/u.user") ratingRDD = sc.textFile("/FileStore/tables/u.data") movieRDD = sc.textFile("/FileStore/tables/u.item") print("userRDD:",userRDD.take(1)) print("ratingRDD:",ratingRDD.take(1)) print("movieRDD:",movieRDD.take(1)) ----------------------------------------------------------- userRDD: ['1|24|M|technician|85711'] ratingRDD: ['196\t242\t3\t881250949'] movieRDD: ['1|Toy Story (1995)|01-Jan-1995||http://us.imdb.com/M/title-exact?Toy%20Story%20(1995)|0|0|0|1|1|1|0|0|0|0|0|0|0|0|0|0|0|0|0']
值得注意的是,回答这个问题需要使用ratingRDD。但是ratingRDD中没有电影名称。
所以必须使用 movie_id合并movieRDD和ratingRDD。
如何在Spark中做到这一点?
以下是使用的代码。其中还使用了一个新的转换leftOuterJoin。请阅读以下代码中的文档和评论。
# Create a RDD from RatingRDD that only contains the two columns of interest i.e. movie_id,rating. RDD_movid_rating = ratingRDD.map(lambda x : (x.split("\t")[1],x.split("\t")[2])) print("RDD_movid_rating:",RDD_movid_rating.take(4)) # Create a RDD from MovieRDD that only contains the two columns of interest i.e. movie_id,title. RDD_movid_title = movieRDD.map(lambda x : (x.split("|")[0],x.split("|")[1])) print("RDD_movid_title:",RDD_movid_title.take(2)) # merge these two pair RDDs based on movie_id. For this we will use the transformation leftOuterJoin(). See the transformation document. rdd_movid_title_rating = RDD_movid_rating.leftOuterJoin(RDD_movid_title) print("rdd_movid_title_rating:",rdd_movid_title_rating.take(1)) # use the RDD in previous step to create (movie,1) tuple pair RDD rdd_title_rating = rdd_movid_title_rating.map(lambda x: (x[1][1],1 )) print("rdd_title_rating:",rdd_title_rating.take(2)) # Use the reduceByKey transformation to reduce on the basis of movie_title