Pyspark:电影推荐

最新推荐文章于 2021-06-19 22:10:04 发布
最新推荐文章于 2021-06-19 22:10:04 发布
阅读量3.4k 收藏 6
点赞数 1
文章标签： PySpark 推荐
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014281392/article/details/89885127
版权

目录

Data set

  来自一个开源电影数据集，约10万条数据。

Create SparkSession and Load data

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('RS').getOrCreate()

# load dataset
df = spark.read.csv('./Data/movie_ratings_df.csv', inferSchema=True, header=True)

EDA

df.show(10)

+------+------------+------+
|userId|       title|rating|
+------+------------+------+
|   196|Kolya (1996)|     3|
|    63|Kolya (1996)|     3|
|   226|Kolya (1996)|     5|
|   154|Kolya (1996)|     3|
|   306|Kolya (1996)|     5|
|   296|Kolya (1996)|     4|
|    34|Kolya (1996)|     5|
|   271|Kolya (1996)|     4|
|   201|Kolya (1996)|     4|
|   209|Kolya (1996)|     4|
+------+------------+------+
only showing top 10 rows

print((df.count(), len(df.columns)))

(100000, 3)

df.printSchema()

root
 |-- userId: integer (nullable = true)
 |-- title: string (nullable = true)
 |-- rating: integer (nullable = true)

# user recording
userCount_df = df.groupBy('userId').count().orderBy('count', ascending=False)

# Spark's DataFrame --> Pandas's DataFrame
user_df = userCount_df.toPandas()

user_df.head()
userIdcount
0405737
1655685
213636
3450540
4276518
user_df.tail()
userIdcount
93824220
93957120
94087320
94147520
9423620

Feature Engineering

  • label encode
    • Instance = stringIndexer(inputCol=‘xxx’, outputCol=‘yyy’)
    • model = Instance.fit(df)
    • new_df = model.transform(df)
  • reverse operation
    • Instance = IndexToString(inputCol=‘yyy’, outputCol=‘xxx’, labels=model.labels)
    • df = Instance.transform(new_df)
from pyspark.sql.functions import *
from pyspark.ml.feature import StringIndexer, IndexToString

stringIndexer = StringIndexer(inputCol='title', outputCol='title_num')

model = stringIndexer.fit(df)

new_df  = model.transform(df)

new_df.show(10)

+------+------------+------+---------+
|userId|       title|rating|title_num|
+------+------------+------+---------+
|   196|Kolya (1996)|     3|    287.0|
|    63|Kolya (1996)|     3|    287.0|
|   226|Kolya (1996)|     5|    287.0|
|   154|Kolya (1996)|     3|    287.0|
|   306|Kolya (1996)|     5|    287.0|
|   296|Kolya (1996)|     4|    287.0|
|    34|Kolya (1996)|     5|    287.0|
|   271|Kolya (1996)|     4|    287.0|
|   201|Kolya (1996)|     4|    287.0|
|   209|Kolya (1996)|     4|    287.0|
+------+------------+------+---------+
only showing top 10 rows

new_df.groupBy('title_num').count().orderBy('count', ascending=False).show(10)

+---------+-----+
|title_num|count|
+---------+-----+
|      0.0|  583|
|      1.0|  509|
|      2.0|  508|
|      3.0|  507|
|      4.0|  485|
|      5.0|  481|
|      6.0|  478|
|      7.0|  452|
|      8.0|  431|
|      9.0|  429|
+---------+-----+
only showing top 10 rows

Splitting Dataset

train_df, test_df = new_df.randomSplit([0.7, 0.3])

print('train_df, (%d, %d)'%(train_df.count(), len(train_df.columns)))
print('test_df, (%d, %d)'%(test_df.count(), len(test_df.columns)))

train_df, (69917, 4)
test_df, (30083, 4)

Train Model

ALS

  • nonnegative=‘True’, 没有分数为负值的评分
  • coldStartStrategy=‘drop’,防止冷启动，分数为NaN
from pyspark.ml.recommendation import ALS

rec = ALS(maxIter=10, regParam=0.01, userCol='userId', itemCol='title_num', ratingCol='rating', nonnegative=True,
                 coldStartStrategy='drop')

rs_model = rec.fit(train_df)

Evaluation

test_df.show(4)

+------+--------------------+------+---------+
|userId|               title|rating|title_num|
+------+--------------------+------+---------+
|     1|Apocalypse Now (1...|     3|     91.0|
|     1|    Apollo 13 (1995)|     4|     51.0|
|     1|Aristocats, The (...|     2|    575.0|
|     1|Army of Darkness ...|     4|    289.0|
+------+--------------------+------+---------+
only showing top 4 rows

test = test_df.select(['userId','title','title_num'])

test_pred = rs_model.transform(test)

test_pred.show()

+------+--------------------+---------+----------+
|userId|               title|title_num|prediction|
+------+--------------------+---------+----------+
|   463|That Thing You Do...|    148.0| 2.5579684|
|   251|That Thing You Do...|    148.0| 3.9390717|
|   193|That Thing You Do...|    148.0|  3.070894|
|   642|That Thing You Do...|    148.0| 3.9546824|
|   101|That Thing You Do...|    148.0| 3.6771653|
|   406|That Thing You Do...|    148.0| 3.0834832|
|   731|That Thing You Do...|    148.0| 2.8964741|
|   159|That Thing You Do...|    148.0|  5.029048|
|   606|That Thing You Do...|    148.0| 3.6251612|
|   336|That Thing You Do...|    148.0| 2.9238327|
|   330|That Thing You Do...|    148.0| 4.2745767|
|    93|That Thing You Do...|    148.0| 3.2026477|
|   654|That Thing You Do...|    148.0| 4.2684965|
|   152|That Thing You Do...|    148.0| 4.3452826|
|   760|That Thing You Do...|    148.0|  4.768305|
|   178|That Thing You Do...|    148.0| 4.1157365|
|   839|That Thing You Do...|    148.0| 4.2218776|
|   500|That Thing You Do...|    148.0| 2.9480288|
|   432|That Thing You Do...|    148.0| 2.7699072|
|   676|That Thing You Do...|    148.0| 2.6120367|
+------+--------------------+---------+----------+
only showing top 20 rows

from pyspark.ml.evaluation import RegressionEvaluator

test_pred = rs_model.transform(test_df)

evaluate_result = RegressionEvaluator(metricName='rmse', predictionCol='prediction', labelCol='rating')

rmse = evaluate_result.evaluate(test_pred)

print('test rmse is %f'%rmse)

test rmse is 1.036787

Recommend Movies

nunique_movies = new_df.select('title').distinct()

nunique_movies.count()

1664

# total movies
a = nunique_movies.alias('a')
user_id = 66
# user_id = 66，看过的电影
watched_movies = new_df.filter(new_df['userId'] == user_id).select('title').distinct()
b = watched_movies.alias('b')
# a join b
total_movies = a.join(b, a.title == b.title, how='left')

total_movies.show(25)

+--------------------+--------------------+
|               title|               title|
+--------------------+--------------------+
|   Annie Hall (1977)|                null|
|Heavenly Creature...|                null|
|       Psycho (1960)|                null|
|Snow White and th...|                null|
|Night of the Livi...|                null|
|When We Were King...|                null|
| If Lucy Fell (1996)|                null|
|    Fair Game (1995)|                null|
| Three Wishes (1995)|                null|
|         Cosi (1996)|                null|
|Paris, France (1993)|                null|
|Spanking the Monk...|                null|
|I'll Do Anything ...|                null|
|        Mondo (1996)|                null|
| Evil Dead II (1987)|                null|
|    Threesome (1994)|                null|
|Last Action Hero ...|                null|
|Reality Bites (1994)|                null|
|Colonel Chabert, ...|                null|
|   Blue Chips (1994)|                null|
|A Chef in Love (1...|                null|
|    Nico Icon (1995)|                null|
|English Patient, ...|English Patient, ...|
|Marvin's Room (1996)|                null|
|Crows and Sparrow...|                null|
+--------------------+--------------------+
only showing top 25 rows

user_66_not_watched_movies = total_movies.where(col('b.title').isNull()).select(a.title).distinct()

print('user 66 没有看过的电影 %d'%user_66_not_watched_movies.count())

user 66 没有看过的电影 1626

user_66_not_watched_movies = user_66_not_watched_movies.withColumn('userId', lit(int(user_id)))

user_66_not_watched_movies.show(10, False)

+--------------------------------------+------+
|title                                 |userId|
+--------------------------------------+------+
|Annie Hall (1977)                     |66    |
|Heavenly Creatures (1994)             |66    |
|Psycho (1960)                         |66    |
|Snow White and the Seven Dwarfs (1937)|66    |
|Night of the Living Dead (1968)       |66    |
|When We Were Kings (1996)             |66    |
|If Lucy Fell (1996)                   |66    |
|Fair Game (1995)                      |66    |
|Three Wishes (1995)                   |66    |
|Cosi (1996)                           |66    |
+--------------------------------------+------+
only showing top 10 rows

Top 10 Recommend Movies

user_66_df = model.transform(user_66_not_watched_movies)   # title >> title_num

user_66_rs = rs_model.transform(user_66_df).orderBy('prediction', ascending=False)

user_66_rs.show(10)

+--------------------+------+---------+----------+
|               title|userId|title_num|prediction|
+--------------------+------+---------+----------+
|Ruby in Paradise ...|    66|    887.0|  6.453057|
|Misrables, Les (...|    66|    911.0|  5.965375|
| Apostle, The (1997)|    66|    572.0|  5.873897|
|Miami Rhapsody (1...|    66|   1022.0| 5.8026986|
|  Schizopolis (1996)|    66|   1372.0|  5.692012|
|       Harlem (1993)|    66|   1369.0|  5.661992|
|Mina Tannenbaum (...|    66|   1286.0|  5.637907|
|In the Bleak Midw...|    66|    996.0|  5.628146|
|Double vie de V...|    66|    904.0|  5.467951|
|     Faithful (1996)|    66|   1129.0| 5.2826753|
+--------------------+------+---------+----------+
only showing top 10 rows
今晚打佬虎
关注
基于PySpark和ALS算法实现基本的电影推荐流程
pysense的博客
01-11 4951
2、读数据多个api 基本常用读取数据的api sc.pickleFile() # <class 'pyspark.rdd.RDD'> sc.textFile() # <class 'pyspark.rdd.RDD'> spark.read.json() # <class 'pyspark.sql.dataframe.DataFrame'> spark.read...
pyspark做movielens推荐模型特征工程
02-11 732
前面文章讲了如何这篇文章我们来讲讲，如何使用pyspark为推荐模型做特征工程。同样的，我们将使用movielens数据集，我们需要进行Sample Label、Movie Features生成以及User Features的生成、最后再split Train&Test Samples。
Pyspark DataFrame操作笔记
清风徐来
10-27 6154
spark data frame 基操
基于PySpark的电影推荐引擎
普通Gopher
10-09 2046
相关知识 推荐引擎是最常见的机器学习应用，我们可以在各大购物网站上看见这方面的应用。 Spark MLlib支持ALS（Alternating Least Squares）推荐算法，是机器学习的协同过滤推荐算法。机器学习的协同过滤推荐算法通过观察所有用户给产品的评价来推断每个用户的喜好，并向每个用户分别推荐多个合适的产品，也可以把某个产品推荐给多个用户。 系统环境 Linux Centos7 P...
pyspark学习——最流行的电影
m0_37442062的博客
02-25 474
数据集下载：https://grouplens.org/datasets/movielens/ 选择 older datasets下载 在readme.txt中可以看到u.data的数据格式： u.data -- The full u data set, 100000 ratings by 943 users on 1682 items. Each us...
pyspark入门---通过协同过滤算法推荐电影
05-10 2276
数据集是Movielens官网的ml-100k数据，下载地址 https://grouplens.org/datasets/movielens/ 用jupyter实现比较好 from pyspark.sql import SparkSession user_df=spark.read.text('data/u.user') user_df.show(10) ##为用户数据添加 schema from pyspark import Row user_rdd=user_df.rdd.map(lambda
Spark-电影推荐系统
shursulei的博客
07-12 1286
一.环境的准备 1.MovieLens 100K数据集 数据链接的地址 2.查看对应的数据 u.user数据类型#对应的数据分别为 user_id,age,gender,occupation,ZIP code(邮编) sulei@sulei:~/下载/ml-100k$ head -5 u.user 1|24|M|technician|85711 2|53|F|other|94043 3|2
movie_recommender_pyspark：正在使用正在使用来自Spark的MLlib的电影镜头100k的电影重新提交系统。
02-18
在这个场景中，我们关注的是一个名为"movie_recommender_pyspark"的项目，它利用Apache Spark的MLlib库构建了一个电影推荐系统，数据集取自著名的MovieLens 100K数据集。 **Apache Spark与MLlib** Apache Spark是一...
推荐系统：Pyspark，ALS推荐系统
02-18
在本主题中，我们将深入探讨如何使用Pyspark和ALS（ Alternating Least Squares）算法来构建推荐系统。Pyspark是Apache Spark的Python接口，它提供了一个强大的分布式计算框架，适合处理大规模数据。 首先，了解ALS...
Film-recommendation-system:电影推荐系统。pythonKNN协同过滤系统和spark.system详细介绍，请看电影推荐系统文档
03-11
电影推荐系统是现代娱乐产业中不可或缺的一部分，它利用先进的数据处理和机器学习技术，为用户提供个性化的电影推荐。本项目“Film-recommendation-system”是一个基于Python的KNN（K-Nearest Neighbors）协同过滤...
基于Spark的电影推荐系统
04-17
本课程论文阐述了spark和spark集成开发环境Intellij IDEA的安装与操作，也详细说明了基于Spark的电影推荐系统的开发流程。推荐引擎是最常用的机器学校应用，我们可以在各大购物网站上看到这方面的应用。基于Spark的电影推荐系统是使用Spark MLlib的ALS推荐算法，对会员电影评分数据和观看记录的数据构建协同过滤式的推荐引擎，对历史数据进行训练创建模型进行针对用户推荐电影和针对电影推荐用户的推荐功能，由此来增加会员观看电影的次数。
基于Spark电影推荐系统-数据表SQL
01-10
基于Spark电影推荐系统-数据表SQL
movie_ratings
04-28
movie_rating_app 一个Vue.js项目 构建设置 # install dependencies npm install # serve with hot reload at localhost:8080 npm run dev # build for production with minification npm run build # build for production and view the bundle analyzer report npm run build --report # run unit tests npm run unit # run e2e tests npm run e2e # run all tests npm test 有关工作原理的详细说明，请查看的和。 movie_ratings
PySpark对电影和用户进行聚类分析
12-21
之前的博文使用pyspark.mllib.recommendation做推荐案例，代码实现了如何为用户做电影推荐和为电影找到潜在的感兴趣用户。本篇博文介绍如何利用因子分解出的用户特征、电影特征做用户和电影的聚类分析，以看能否找到不同于已知的、有趣的新信息。 第一步：获取用户评分数据显式因式分解后的movieFactors、userFactors。 from pyspark.mllib.recommendation import ALS,Rating #用户评分数据 rawData = sc.textFile("/Users/gao/data/ml-100k/u.data") rawRatin
pyspider 爬豆瓣电影信息
linux运维交流学习
11-25 234
#!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2015-11-23 10:50:38 # Project: doubanmovie from pyspider.libs.base_handler import * import pymongo,sys from pymongo import MongoClien...
als pyspark_带有ALS的PySpark协同过滤
weixin_26713521的博客
09-02 980
als pysparkRecommender System is an information filtering tool that seeks to predict which product a user will like, and based on that, recommends a few products to the users. For example, Amazon can ...
Python大数据处理库 PySpark实战 总结四
cjl的博客
06-19 1406
Python大数据处理库 PySpark实战四ETL 实战实验数据来源数据加载观察资料选择、筛选与聚合机器学习实战实验数据来源数据加载统计描述清洗与变形Pipeline逻辑回归预测决策树预测 ETL 实战 实验数据来源 https://groupllens.org/datasets/movielens/ 下载一个精简数据集。rating.csv 电影评分记录 ：userId给电影评价的用户ID movieId 电影的ID rating 打分5分满分，timestamp时间戳 数据加载 from pysp
Beginners Guide to Getting Started with AS3 (Without Learning Flex)
bincavin的专栏
07-02 6151
<br /> http://www.senocular.com/flash/tutorials/as3withmxmlc/<br /> <br /> <br /> <br /> <br />Flex SDK includes two compilers, mxmlc and compc. <br />You use mxmlc to compile MXML files, ActionScript files, SWC files, and RSLs into a single SWF file. Afte
数据分析练习-电影数据分析
weixin_46560950的博客
03-18 1595
文章目录数据分析练习-电影数据分析总共三个文件导入数据疯狂操作查看平均分较高的电影男女对同一部电影的评价男女各自的癖好不同年龄段的癖好problem 数据分析练习-电影数据分析 总共三个文件 1、user 包含以下参数： UserID Gender Age Occupation zip-code 2、movies 包含以下参数： movield title Genres 3、ratings 包含以...
基于spark的电影推荐
最新发布
06-10
电影推荐系统可以基于Spark的机器学习库来实现。下面是一个基于Spark ALS算法的电影推荐系统的示例代码： ```python from pyspark.ml.recommendation import ALS from pyspark.sql import SparkSession # 创建...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值