movieslens数据集实现UserCF算法

最新推荐文章于 2023-05-03 22:15:18 发布
最新推荐文章于 2023-05-03 22:15:18 发布
阅读量1.3k 收藏 5
点赞数 1
分类专栏： 推荐系统

原创：石晓文

之前我们介绍了moviesLens数据集，数据集中主要有两个文件：
ratings数据
文件里面的内容包含了每一个用户对于每一部电影的评分。数据格式如下：
userId, movieId, rating, timestamp
userId: 每个用户的id
movieId: 每部电影的id
rating: 用户评分，是5星制，按半颗星的规模递增(0.5 stars - 5 stars)
timestamp: 自1970年1月1日零点后到用户提交评价的时间的秒数
数据排序的顺序按照userId，movieId排列的。

movies数据
文件里包含了一部电影的id和标题，以及该电影的类别。数据格式如下：
movieId, title, genres
movieId:每部电影的id
title:电影的标题
genres:电影的类别（详细分类见readme.txt）

本文，主要介绍如何通过该数据集实现UserCF算法。

1、数据处理

首先，我们定义我们数据的路径，并使用pandas读入：


     
     
  1. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         moviesPath = '../data/ml-1m/movies.csv'
        
        
    
       
       
  2. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         ratingsPath = '../data/ml-1m/ratings.csv'
        
        
    
       
       
  3. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         moviesDF = pd.read_csv(moviesPath,index_col=None)
        
        
    
       
       
  4. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         ratingsDF = pd.read_csv(ratingsPath,index_col=None)
        
        
    
       
       
  5.

这里我们按照4:1的比例将数据集进行拆分，同时打印出总的用户和电影数量、训练集中的用户和电影数量以及测试集中的用户和电影数量：


     
     
  1. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         trainRatingsDF,testRatingsDF = train_test_split(ratingsDF,test_size=0.2)
        
        
    
       
       
  2. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
     
        
        
    
       
       
  3. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         print(
         
         "total_movie_count:"+str(len(
         
         set(ratingsDF[
         
         'movieId'].values.tolist()))))
        
        
    
       
       
  4. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         print(
         
         "total_user_count:" + str(len(
         
         set(ratingsDF[
         
         'userId'].values.tolist()))))
        
        
    
       
       
  5. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         print(
         
         "train_movie_count:" + str(len(
         
         set(trainRatingsDF[
         
         'movieId'].values.tolist()))))
        
        
    
       
       
  6. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         print(
         
         "train_user_count:" + str(len(
         
         set(trainRatingsDF[
         
         'userId'].values.tolist()))))
        
        
    
       
       
  7. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         print(
         
         "test_movie_count:" + str(len(
         
         set(testRatingsDF[
         
         'movieId'].values.tolist()))))
        
        
    
       
       
  8. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         print(
         
         "test_user_count:" + str(len(
         
         set(testRatingsDF[
         
         'userId'].values.tolist()))))

结果为：


     
     
  1. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         total_movie_count:9066
        
        
    
       
       
  2. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         total_user_count:671
        
        
    
       
       
  3. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         train_movie_count:8381
        
        
    
       
       
  4. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         train_user_count:671
        
        
    
       
       
  5. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         test_movie_count:4901
        
        
    
       
       
  6. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         test_user_count:671
        
        
    
       
       
  7.

所以，这里并不是所有的电影都被分到测试集合训练集中。接下来，我们得到用户-电影的评分矩阵，使用pandas的数据透视功能，同时，我们得到电影id和用户id与其对应索引的映射关系：


     
     
  1. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         trainRatingsPivotDF = pd.pivot_table(trainRatingsDF[['userId','movieId','rating']],columns=['movieId'],index=['userId'],values='rating',fill_value=0)
        
        
    
       
       
  2. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
          
        
        
    
       
       
  3. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         moviesMap = dict(enumerate(list(trainRatingsPivotDF.columns)))
        
        
    
       
       
  4. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
          
        
        
    
       
       
  5. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         usersMap = dict(enumerate(list(trainRatingsPivotDF.index)))
        
        
    
       
       
  6. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
          
        
        
    
       
       
  7. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         ratingValues = trainRatingsPivotDF.values.tolist()
        
        
    
       
       
  8.

2、用户相似度计算

这里我们使用余弦相似度来计算用户之间的相似度关系：


     
     
  1. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         def calCosineSimilarity(list1,list2):
        
        
    
       
       
  2. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
             res = 0
        
        
    
       
       
  3. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
             denominator1 = 0
        
        
    
       
       
  4. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
             denominator2 = 0
        
        
    
       
       
  5. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
             for (val1,val2) in zip(list1,list2):
        
        
    
       
       
  6. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
                 res += (val1 * val2)
        
        
    
       
       
  7. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
                 denominator1 += val1 ** 2
        
        
    
       
       
  8. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
                 denominator2 += val2 ** 2
        
        
    
       
       
  9. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
             return res / (math.sqrt(denominator1 * denominator2))
        
        
    
       
       
  10.

随后，需要计算用户之间的相似度矩阵，对于用户相似度矩阵，这是一个对称矩阵，同时对角线的元素为0，所以我们只需要计算上三角矩阵的值即可：


     
     
  1. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         userSimMatrix = np.zeros((len(ratingValues),len(ratingValues)),dtype=np.float32)
        
        
    
       
       
  2. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         for i 
         
         in range(len(ratingValues)-1):
        
        
    
       
       
  3. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
        
         
         for j 
         
         in range(i+1,len(ratingValues)):
        
        
    
       
       
  4. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
                 userSimMatrix[i,j] = calCosineSimilarity(ratingValues[i],ratingValues[j])
        
        
    
       
       
  5. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
                 userSimMatrix[j,i] = userSimMatrix[i,j]

接下来，我们要找到与每个用户最相近的K个用户，用这K个用户的喜好来对目标用户进行物品推荐，这里K=10，下面的代码用来计算与每个用户最相近的10个用户：


     
     
  1. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         userMostSimDict = dict()
        
        
    
       
       
  2. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         for i in range(len(ratingValues)):
        
        
    
       
       
  3. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
             userMostSimDict[i] = sorted(enumerate(list(userSimMatrix[0])),key = lambda x:x[1],reverse=True)[:10]
        
        
    
       
       
  4.

3、电影推荐

得到了每个用户对应的10个兴趣最相近的用户之后，我们根据下面的公式计算用户对每个没有观看过的电影的兴趣分：

这里，如果用户已经对电影打过分，那么兴趣值就是0，代码如下：


     
     
  1. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         userRecommendValues = np.zeros((len(ratingValues),len(ratingValues[0])),dtype=np.float32)
        
        
    
       
       
  2. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         for i 
         
         in range(len(ratingValues)):
        
        
    
       
       
  3. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
        
         
         for j 
         
         in range(len(ratingValues[i])):
        
        
    
       
       
  4. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
            
         
         if ratingValues[i][j] == 0:
        
        
    
       
       
  5. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
                     val = 0
        
        
    
       
       
  6. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
                
         
         for (user,sim) 
         
         in userMostSimDict[I]:
        
        
    
       
       
  7. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
                         val += (ratingValues[user][j] * sim)
        
        
    
       
       
  8. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
                     userRecommendValues[i,j] = val

接下来，我们为每个用户推荐10部电影：


     
     
  1. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         userRecommendDict = dict()
        
        
    
       
       
  2. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         for i in range(len(ratingValues)):
        
        
    
       
       
  3. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
             userRecommendDict[i] = sorted(enumerate(list(userRecommendValues[i])),key = lambda x:x[1],reverse=True)[:10]
        
        
    
       
       
  4.

将推荐的结果转换为推荐列表之后，我们将推荐结果转换为二元组，这里要注意的是，我们一直使用的是索引，我们需要将索引的用户id和电影id转换为真正的用户id和电影id，这里我们前面定义的两个map就派上用场了：


     
     
  1. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         userRecommendList = []
        
        
    
       
       
  2. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         for key,value 
         
         in userRecommendDict.items():
        
        
    
       
       
  3. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
             user = usersMap[key]
        
        
    
       
       
  4. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
        
         
         for (movieId,val) 
         
         in value:
        
        
    
       
       
  5. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
                 userRecommendList.append([user,moviesMap[movieId]])

最后一步，我们将推荐结果的电影id转换成对应的电影名，并打印结果：


     
     
  1. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         recommendDF = pd.DataFrame(userRecommendList,columns=[
         
         'userId',
         
         'movieId'])
        
        
    
       
       
  2. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         recommendDF = pd.merge(recommendDF,moviesDF[[
         
         'movieId',
         
         'title']],on=
         
         'movieId',how=
         
         'inner')
        
        
    
       
       
  3. 
       
       
    
        
        
    
       
       
    
       
       
    
        
        
    
         
         recommendDF.tail(10)

结果如下：



a378812
关注
专栏目录
推荐系统实战--movieslens数据集实现UserCF算法
fort110的博客
10-20 4087
UserCF：UserCollaborationFilter，基于用户的协同过滤   算法核心思想：在一个在线推荐系统中，当用户A需要个性化推荐时，可以先找到和他有相似兴趣的其它用户，然后把那些用户喜欢的、而用户A没有听说过的物品推荐给A，这种方法称为基于用户的协同过滤算法。  可以看出，这个算法主要包括两步： 一、找到和目标用户兴趣相似的用户集合——计算两个用户的兴趣相似度 二、找到这...
UserCF算法在MovieLens数据集的运用
最新发布
weixin_52093896的博客
05-05 347
再通过User-Item表查询到用户A喜欢的物品列表{a,b,d}，用户D喜欢的物品列表{c,d,e}， 故用户A、D喜欢物品的交集是{a,b,c,d,e}，其中用户C喜欢的列表是{b,e}，为了避免重复推荐用户已经喜欢的物品，所以要先从物品列表中去掉用户C已经喜欢的物品，故最终待推荐的物品列表为{a,c,d}。接着按照用户C对待推荐物品感兴趣程度对待推荐列表进行逆序排序，得到最终的推荐列表{d,a,c}，我们可以将整个推荐列表或者取前K个物品推荐给用户C。，也就没有必要计算了。
基于UserCF算法实现电影推荐
说文科技，做有态度的研究。
07-10 1559
使用开源数据集完成基于UserCF算法的电影推荐
推荐系统之UserCF算法
为援不可图
01-23 1208
基于用户的协同过滤算法 算法概念： UserCF算法是推荐系统中协同过滤算法中的一种，称为基于用户的协同过滤算法。该算法通过用户A的兴趣，找到兴趣相同的其他用户，将其他用户喜欢而用户A没有的物品进行推荐。 算法步骤： 找到和目标用户兴趣相似的用户集合； 找到这个集合中用户喜欢的，且目标用户没有的物品推荐给用户。 算法缺点： 在该算法应用的场景中，用户的数目越大，计算用户相似度矩阵越难，其困难度...
MovieRecommendation:UserCF和ItemCF协同过滤推荐算法的实现
05-10
MovieRecommendation 基于Python3，实现电影推荐系统，数据集是MovieLens官方数据集【见data.txt】 基于用户的协同过滤算法UserCF，UserCF的思想见博客： 基于项目的协同过滤算法ItemCF 关于推荐系统的介绍见博客：
movielens数据集.rar
11-09
《movielens数据集——协同过滤推荐算法的基石》 movielens数据集是一个广泛用于研究推荐系统，尤其是协同过滤推荐算法的经典数据集。这个压缩包“movielens数据集.rar”包含了完整的ml-1m子集，为研究者和开发者...
基于MoviesLens 1M数据集的电影推荐——协同过滤推荐算法
qq_38960965的博客
10-26 3825
基于用户的协同过滤推荐： 目标：针对任意用户，为其推荐没有看过但是可能想看的电影（其他物品） 协同过滤推荐过程： 假设我们要为用户甲推荐电影 Step1 - 找到与阿具有相同电影偏好的用户集合S. 对一个与除一个以外的所有用户进行相似度计算 对计算结果进行排序，选取相似度排名前Ñ的Ñ位用户构成电影偏好相同的用户集合小号 Step2--基于用户集合小号进行加权推荐 将用户集合小号中甲看...
基于用户的协同过滤算法数据集及代码实现
02-18
文件"基于用户的协同过滤算法数据集及实现代码"可能包含了以下内容： - 数据集文件：可能是一个CSV文件，包含了用户ID、物品ID和评分。 - Python脚本：实现了协同过滤算法，包括数据读取、相似度计算、预测评分和...
机器学习热门算法代码实现python，附简易数据集
06-20
机器学习热门算法代码实现python，附简易数据集，拿到代码就能实战，你还在等什么。
赛码"BestCoder"杯中国大学生程序设计冠军赛1001——Movie
dgjm4087的博客
05-05 88
Problem Description Cloud and Miceren like watching movies. Today, they want to choose some wonderful scenes from a movie. A movie hasNscenes can be chosen, and each scene is associate wi...
MoviesLens.py
qq_43350003的博客
06-16 349
MoviesLens.py 此项目用到的数据集是MoviesLens数据集，其中包括用户评分、电影信息等数据。MoviesLens.py是进行数据的预处理文件。下面是对数据预处理流程代码的详解过程。 首先，涉及到的库如下所示 import csv import re import pandas as pd from surprise import Reader from surprise import Dataset from collections import defaultdict import os
movielens推荐系统_案例|推荐系统的评估指标
weixin_39850981的博客
11-28 1117
推荐系统能够为用户提供个性化体验，现在基本上各大电商平台、资讯平台都会用推荐系统为自家评价下的用户提供千人千面的服务。平均精度均值（Mean Average Precision，MAP）便是评估推荐系统性能的度量标准之一。但是，使用其他诊断指标和可视化工具可以让模型评估更加深入，甚至还会带来一些其他启发。本文探讨了召回率、覆盖率、个性化和表内相似性，并使用这些指标来比较三个简单的推荐系统。Movi...
推荐算法的Python实现——UserCF（基于用户的协同过滤）
白水的博客
08-18 5887
1. 数据集 本博客用Movielens-1m数据集的ratings.dat作为推荐数据来训练UserCF推荐模型 在Movielens-1m的元素数据集中，ratings.dat是用::作为分隔符的。在本次的python实现中，提前将分隔符::替换为了,，文件名ratings.dat改为了ratings.csv。 如果嫌麻烦不想该，改代码也可以，主要替换以下两行： userid, itemid, record, _ = line.split(",") # 替换为 userid, itemid, reco
划分数据集train_test_split参数含义
weixin_41745696的博客
09-01 1584
在使用sklearn进行数据集划分时，代码 from sklearn.model_selection import train_test_split x_train,x_test,y_train,y_test = train_test_split(df_train['contents_clean'].values, ...
ItemCF算法在MovieLens数据集的运用
weixin_52093896的博客
05-03 1494
其实是一个推荐系统和虚拟社区网站，它由美国 Minnesota 大学计算机科学与工程学院的项目组创办，是一个非商业性质的、以研究为目的的实验性站点。GroupLens研究组根据MovieLens网站提供的数据制作了MovieLens数据集合，这个数据集合里面。本文均用MovieLens数据集来代替整个集合。MoveLens是一个数据集合，其中根据创建时间、数据集大小等分为了若干个子数据集。。本文以MovieLens 1M Dataset为例，具体介绍下此数据集，其它MovieLens数据集也大都类似。
推荐系统实战(一) —— UserCF
weixin_30685029的博客
04-13 264
UserCF  本系列文章主要介绍推荐系统领域相关算法原理及其实现。本文以项亮大神的《推荐系统实践》作为切入点，介绍推荐系统最基础的算法（可能也是最好用的）--基于用户的协同过滤算法(UserCF)。参考书中P44-50。 1.简述 假设在一个个性化的推荐系统中，用户A需要推荐，那么可以先找到与A有相似兴趣的用户，例如B、C、D把他们喜欢的，用户A没有听说过的物品推荐给A。这种方法被称为基于用户...
【推荐系统】基于用户的协同过滤算法（UserCF）原理及电影推荐Python实例+附基于用户SVD矩阵分解算法改进
MrBlingie的博客
05-09 7220
【推荐系统】基于用户的协同过滤算法（UserCF）原理及电影推荐Python实例+附SVD对比 算法原理 基于用户的协同过滤算法 协同过滤简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐用户感兴趣的信息，个人通过合作的机制给予信息相当程度的回应（如评分）并记录下来以达到过滤的目的进而帮助别人筛选信息，回应不一定局限于特别感兴趣的，特别不感兴趣信息的纪录也相当重要。 基于用户的协同过滤算法其简单应用情景是：当用户需要个性化推荐时，可以先找到...
基于用户的协同过滤推荐算法的实现--以电影推荐为例
weixin_46028455的博客
01-29 5248
基于用户的协同过滤推荐算法的实现--以电影推荐为例数据集描述余弦相似度实现过程描述完整代码 数据集描述 数据包括：movies.csv和ratings.csv。movies.csv文档中包含三列属性，分别是movieId电影序号、title电影名称和genres电影类型。movies.csv文档中包含四列属性，分别是userId用户序号、movieId电影序号，rating用户评分（0.5-5，分值越高代表越好）第四列属性不用考虑。在该电影系统中使用了610个用户为9742部电影打分，生成了100836行的
推荐算法（一）电影推荐系统
热门推荐
weixin_37699342的博客
12-27 1万+
目录 一、推荐系统基本概念 1. 基于内容的推荐系统 2. 基于矩阵分解的协同过滤 3. 基于item的协同过滤 4. 基于用户的协同过滤 5. 冷启动问题 cold start 6. 混合算法 7. 推荐系统性能评估 线下评估 线上评估 二、使用TF构建电影推荐系统 1. 数据收集 2. 数据准备 3. 构建模型 4. 模型训练 5. 模型评估 6. 构建完整的电影推荐系统 一、推荐系统基本概念 1. 基于内容的推荐系统 给定电影部分评分表和电影内容矩阵X，求解用
遗传算法与SVR结合的Python实现及其自带数据集
资源摘要信息:"本资源主要包含了一个使用遗传算法（Genetic Algorithm, GA）优化支持向量机回归模型（Support Vector Regression, SVR）的Python程序和相关数据集。遗传算法是一种模拟自然选择和遗传学原理的搜索...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值