采用ml-100k数据集用Python实现电影推荐系统

最新推荐文章于 2025-02-11 22:24:36 发布
最新推荐文章于 2025-02-11 22:24:36 发布
阅读量1w 收藏 89
点赞数 19
分类专栏： 算法 Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19869749/article/details/103595095
版权

最近在python从入门放弃的路上，做了用MovieLens（ml-100k）数据集的电影推荐系统，主要基于Pearson相关系数判断数据集中其他用户与目标用户的相似性，取其中最相似的50个用户加权计算其推荐系数，排序后推荐得分最高的10部电影。
以下是具体实现过程：

0.准备

我们首先得了解数据集的标签，毕竟年代久远直接读来有点困难我查找了一下资料得到了以下信息：
u.data: 完整的数据集文件，包含943位用户对1682部电影的100000个评分
评分1—5
每个用户至少20部
u.info: 用户数、项目数、评价总数
u.item： 电影的信息，由tab字符分隔。
u.genre: 电影流派信息0-18编号
u.user: 用户基本信息。id，年龄，性别，职业，邮编，id与u.data一致

1.首先载入数据集文件，u.data与电影名称文件u.item。
def loadData():
    f = open('u.data')
    data = []
    for i in range(100000):
        h = f.readline().split('\t')
        h = list(map(int, h))
        data.append(h[0:3])
    f.close()
    return data

def loadMovieName():
    f=open('u.item',encoding='ISO-8859-1')
    name = []
    for i in range(1682):
        h = f.readline()
        k=''
        m=0
        for j in range(100):
            k+=str(h[j])
            if str(h[j])=='|':
                m+=1
            if m==2:
                break
        name.append(k)
    f.close()
    return name

这里我在载入电影名称时出现了编码问题，gbk编码没办法读这个文件，需增加“encoding=‘ISO-8859-1’”。

2.整合与处理数据

通过了解了标签信息我们就可以编写函数将其处理成以每行为一个用户对所有电影一一对应评分的一个列表或者说943*1682的矩阵。

def manageDate(data):
    outdata = []
    for i in range(943):
        outdata.append([])
        for j in range(1682):
            outdata[i].append(0)
    for h in data:
        outdata[h[0] - 1][h[1] - 1] = h[2]
    return outdata
3.计算相关系数

这一步主要分为两步三个函数，先求向量也就是列表均值，后求相关系数。

def calcMean(x, y):
    sum_x = sum(x)
    sum_y = sum(y)
    n = len(x)
    x_mean = float(sum_x + 0.0) / n
    y_mean = float(sum_y + 0.0) / n
    return x_mean, y_mean


def calcPearson(x, y):
    x_mean, y_mean = calcMean(x, y)  # 计算x,y向量平均值
    n = len(x)
    sumTop = 0.0
    sumBottom = 0.0
    x_pow = 0.0
    y_pow = 0.0
    for i in range(n):
        sumTop += (x[i] - x_mean) * (y[i] - y_mean)
    for i in range(n):
        x_pow += math.pow(x[i] - x_mean, 2)
    for i in range(n):
        y_pow += math.pow(y[i] - y_mean, 2)
    sumBottom = math.sqrt(x_pow * y_pow)
    p = sumTop / sumBottom
    return p


def calcAttribute(dataSet, num):
    prr = []
    n, m = np.shape(dataSet)  # 获取数据集行数和列数
    x = [0] * m  # 初始化特征x和类别y向量
    y = [0] * m
    y = dataSet[num - 1]
    for j in range(n):  # 获取每个特征的向量，并计算Pearson系数，存入到列表中
        x = dataSet[j]
        prr.append(calcPearson(x, y))
    return prr
4.选择电影

我们采用开头提到的策略取其中最相似的50个用户加权计算其推荐系数，排序后推荐得分最高的10部电影。

def choseMovie(outdata, num):
    prr = calcAttribute(outdata, num)
    list=[]
    mid=[]
    out_list=[]
    movie_rank=[]
    for i in range(1682):
        movie_rank.append([i,0])
    k=0
    for i in range(943):
        list.append([i,prr[i]])
    for i in range(943):
        for j in range(942-i):
            if list[j][1]<list[j+1][1]:
                mid=list[j]
                list[j]=list[j+1]
                list[j+1]=mid
    for i in range(1,51):
        for j in range(0,1682):
            movie_rank[j][1]=movie_rank[j][1]+outdata[list[i][0]][j]*list[i][1]/50
    for i in range(1682):
        for j in range(1681-i):
            if movie_rank[j][1]<movie_rank[j+1][1]:
                mid=movie_rank[j]
                movie_rank[j]=movie_rank[j+1]
                movie_rank[j+1]=mid
    for i in range(1,1682):
        if(outdata[num-1][movie_rank[i][0]]==0):
            mark=0
            for d in out_list:
                if d[0]==j:
                        mark=1
                if mark!=1:
                    k+=1
                    out_list.append(movie_rank[i])
            if k==10:
                break
    return movie_rank

这里返回的是推荐电影的索引与评分。

5.输出

这里简单的输出了电影名称与推荐评分。

def printMovie(out_list,name):
    print("base on the data we think you may like those movies:")
    for i in range(10):
        print(name[out_list[i][0]]," rank score:",out_list[i][1])

运行结果如下图所示：
在这里插入图片描述

下面给出完整代码：

import numpy as np
import math


def loadData():
    f = open('u.data')
    data = []
    for i in range(100000):
        h = f.readline().split('\t')
        h = list(map(int, h))
        data.append(h[0:3])
    f.close()
    return data

def loadMovieName():
    f=open('u.item.txt',encoding='ISO-8859-1')
    name = []
    for i in range(1682):
        h = f.readline()
        k=''
        m=0
        for j in range(100):
            k+=str(h[j])
            if str(h[j])=='|':
                m+=1
            if m==2:
                break
        name.append(k)
    f.close()
    return name


def manageDate(data):
    outdata = []
    for i in range(943):
        outdata.append([])
        for j in range(1682):
            outdata[i].append(0)
    for h in data:
        outdata[h[0] - 1][h[1] - 1] = h[2]
    return outdata


def calcMean(x, y):
    sum_x = sum(x)
    sum_y = sum(y)
    n = len(x)
    x_mean = float(sum_x + 0.0) / n
    y_mean = float(sum_y + 0.0) / n
    return x_mean, y_mean


def calcPearson(x, y):
    x_mean, y_mean = calcMean(x, y)  # 计算x,y向量平均值
    n = len(x)
    sumTop = 0.0
    sumBottom = 0.0
    x_pow = 0.0
    y_pow = 0.0
    for i in range(n):
        sumTop += (x[i] - x_mean) * (y[i] - y_mean)
    for i in range(n):
        x_pow += math.pow(x[i] - x_mean, 2)
    for i in range(n):
        y_pow += math.pow(y[i] - y_mean, 2)
    sumBottom = math.sqrt(x_pow * y_pow)
    p = sumTop / sumBottom
    return p


def calcAttribute(dataSet, num):
    prr = []
    n, m = np.shape(dataSet)  # 获取数据集行数和列数
    x = [0] * m  # 初始化特征x和类别y向量
    y = [0] * m
    y = dataSet[num - 1]
    for j in range(n):  # 获取每个特征的向量，并计算Pearson系数，存入到列表中
        x = dataSet[j]
        prr.append(calcPearson(x, y))
    return prr


def choseMovie(outdata, num):
    prr = calcAttribute(outdata, num)
    list=[]
    mid=[]
    out_list=[]
    movie_rank=[]
    for i in range(1682):
        movie_rank.append([i,0])
    k=0
    for i in range(943):
        list.append([i,prr[i]])
    for i in range(943):
        for j in range(942-i):
            if list[j][1]<list[j+1][1]:
                mid=list[j]
                list[j]=list[j+1]
                list[j+1]=mid
    for i in range(1,51):
        for j in range(0,1682):
            movie_rank[j][1]=movie_rank[j][1]+outdata[list[i][0]][j]*list[i][1]/50
    for i in range(1682):
        for j in range(1681-i):
            if movie_rank[j][1]<movie_rank[j+1][1]:
                mid=movie_rank[j]
                movie_rank[j]=movie_rank[j+1]
                movie_rank[j+1]=mid
    for i in range(1,1682):
        if(outdata[num-1][movie_rank[i][0]]==0):
            mark=0
            for d in out_list:
                if d[0]==j:
                        mark=1
                if mark!=1:
                    k+=1
                    out_list.append(movie_rank[i])
            if k==10:
                break
    return movie_rank

def printMovie(out_list,name):
    print("base on the data we think you may like those movies:")
    for i in range(10):
        print(name[out_list[i][0]]," rank score:",out_list[i][1])


i_data = loadData()
name = loadMovieName()
out_data = manageDate(i_data)
a = eval(input("please input the id of user:"))
out_list = choseMovie(out_data, a)
printMovie(out_list,name)
MovieLens 100k 数据集
12-06
MovieLens 100k 数据集
数据可视化
mid_python的博客
05-13 494
#准备 pyspark 环境 from pyspark import SparkContext,SparkConf from pyspark.sql import SparkSession,Row from pyspark.sql import functions as func #创建应用程序实例和会话 spark = SparkSession.builder\ .maste...
推荐算法实践：movielens数据集
最新发布
he_wen_jie的博客
02-11 1774
MovieLens 数据集是由明尼苏达大学的GroupLens研究小组维护的一个广泛使用的电影评分数据集，主要用于推荐系统的研究。该数据集包含用户对电影的评分、标签以及其他相关信息，是电影推荐系统开发与研究的常用数据源。
Hadoop MapReduce处理MovieLens ml-100k数据集
ChungChinKei' blog
08-03 1532
数据集介绍 待补充 user id | item id | rating | timestamp. map阶段 #coding=utf-8 import sys for line in sys.stdin: line = line.strip().split() #userid rating print "%s\t%s" % (line[0], line[2]) [r...
ml-100k-ALS推荐算法数据集
09-21
该数据集为公共数据集：主要有u.data,u.genre,u.info,u.item,u.user,u.occupation 等文件
基于Spark机器学习的电影推荐系统实战教程——ml-100k数据集
weixin_29050829的博客
08-31 1776
本文还有配套的精品资源，点击获取 简介：本文详细介绍如何使用Spark的机器学习库MLlib构建电影推荐系统，并以ml-100k数据集为例，指导读者完成推荐系统的各个阶段，包括数据预处理、协同过滤模型构建、模型评估与调优、推荐生成和在线服务集成等。读者通过学习此课程，将理解推荐系统的核心算法原理，并掌握Spark在大数据处理中的应用。 1. Spark在推荐系统中的应...
movieLens电影数据集ml-100k的配图，在电影网站上爬取的
01-12
本人花2天时间学习简单http协议然后写了个破代码在imdb上爬取了MovieLens数据集的配图，由于MovieLens中的数据集链接已失效，所以只能根据imdb网站的搜索引擎慢慢爬取图片。希望对毕设为推荐系统的童鞋有些许作用。。。
ml-100k.zip
05-30
spark机器学习电影推荐系统ml-100k.zip数据源
使用MovieLens ml-100k 构建推荐系统的概率矩阵分解(PMF) 算法的Python 实现 GroupLens 数据
06-07
本项目将探讨如何使用Python实现PMF算法，特别是针对MovieLens ml-100k数据集，该数据集由GroupLens研究组织提供，包含了100,000条电影评分记录，用于研究和开发推荐系统。 首先，我们需要理解推荐系统的基本概念。...
ml-100k-recsys:MovieLens 100K数据集的推荐系统
03-16
ml-100k-recsys 基于MovieLens 100K数据集的电影推荐系统 入门 Le projet 对象：提案人5部电影，实用主义者电影，3部电影预告片，电影基础电影MovieLens100k 。 系统集成了“聚类”（非学徒技术）和“协作过滤”，比较器，比较对象，比较实用程序等功能。 Lancer应用程序建议 bokeh serve --show main.py 阿普索·德·阿普利 先决条件 # version packages pandas==1.1.3 numpy==1.19.2 bokeh==2.2.3 scikit-learn==0.23.2
ml-100k.zip数据集网盘链接
03-04
从官网（https://grouplens.org/datasets/movielens/）下载的ml-100k完整数据包
ml-100k Basic MF.rar
04-11
如果你对本系列(未写完，持续更新中)感兴趣，可接以下传送门(CSDN搜索)：   【推荐算法】从零开始做推荐（一）——认识推荐、认识数据   【推荐算法】从零开始做推荐（二）——推荐系统的评价指标，计算原理与实现样例   【推荐算法】从零开始做推荐（三）——传统矩阵分解的TopK推荐
基于MovieLens数据集(ml-100k)使用项目-项目协同过滤的电影推荐器。.zip
03-28
基于MovieLens数据集(ml-100k)使用项目-项目协同过滤的电影推荐器。.zip
使用电影推荐数据集ml-100k并基于PyTorch实现《深度学习推荐系统（王喆著）》的部分经典模型.zip
09-22
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
采用ml-100k数据集利用python实现基于物品的协同过滤算法啊
10-07
在Python中，我们可以使用如Surprise库这样的推荐系统库来实现基于物品的协同过滤算法。ml-latest-small数据集是Netflix公开的一个电影评级数据集，非常适合做协同过滤练习。以下是简要步骤： 1. **安装必要的库**:...
用Python实现概率矩阵分解（PMF）算法在MovieLens ml-100k数据集上构建精确的推荐系统：深入理解GroupLens数据的操作
qq_38334677的博客
07-26 797
例如，我们可能需要考虑用户的实时行为和偏好变化，我们可能需要考虑项目的热度和新颖度，我们也可能需要考虑用户和项目的冷启动问题。准确率是我们推荐的项目中实际喜欢的比例，召回率是用户实际喜欢的项目中被我们推荐出来的比例。例如，我们可以引入用户和项目的特征向量到PMF模型中，让模型不仅考虑用户和项目的交互，还考虑用户和项目的属性。从输出的结果中，我们可以看到数据集的总行数，每列的平均值，标准差，最小值，25%，50%，75%和最大值。预测误差的平方和度量了我们的预测评分和真实评分的差距，正则化项防止模型过拟合。
ml-100k推荐数据_ML-了解统计数据
cunzai1985的博客
09-24 1340
ML-了解统计数据 (ML - Understanding Data with Statistics) Advertisements 广告 Previous Page 上一页 Next Page 下一页 介绍 (Introduction) While working with machine learning projects, usually we ign...
【开源宝藏】推荐系统开发者的福音 —— ml-100k数据集全面解析
gitblog_06524的博客
10-31 377
【开源宝藏】推荐系统开发者的福音 —— ml-100k数据集全面解析 【下载地址】推荐系统必备数据集ml-100k分享 本仓库提供了一个推荐系统必备的数据集——ml-100k的下载链接。该数据集包含了100，000条用户对电影的评分记录，是研究和开发推荐系统的理想选择 ...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值