Python推荐系统库——Surprise

最新推荐文章于 2025-04-15 10:00:00 发布
最新推荐文章于 2025-04-15 10:00:00 发布
阅读量5.3w 收藏 281
点赞数 50
分类专栏： MachineLearning Python 文章标签： 推荐系统 python surprise
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mycafe_/article/details/79146764
版权
本文介绍Surprise库在推荐系统中的应用，包括加载数据集、算法选择、模型评估及调参等关键步骤，并通过电影和音乐数据集示例展示具体操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

@ 2018-01-24

Surprise

在推荐系统的建模过程中，我们将用到python库 Surprise(Simple Python RecommendatIon System Engine)，是scikit系列中的一个(很多同学用过scikit-learn和scikit-image等库)。Surprise的User Guide有详细的解释和说明

简单易用，同时支持多种推荐算法：

算法类名说明
random_pred.NormalPredictorAlgorithm predicting a random rating based on the distribution of the training set, which is assumed to be normal.
baseline_only.BaselineOnlyAlgorithm predicting the baseline estimate for given user and item.
knns.KNNBasicA basic collaborative filtering algorithm.
knns.KNNWithMeansA basic collaborative filtering algorithm, taking into account the mean ratings of each user.
knns.KNNBaselineA basic collaborative filtering algorithm taking into account a baseline rating.
matrix_factorization.SVDThe famous SVD algorithm, as popularized by Simon Funk during the Netflix Prize.
matrix_factorization.SVDppThe SVD++ algorithm, an extension of SVD taking into account implicit ratings.
matrix_factorization.NMFA collaborative filtering algorithm based on Non-negative Matrix Factorization.
slope_one.SlopeOneA simple yet accurate collaborative filtering algorithm.
co_clustering.CoClusteringA collaborative filtering algorithm based on co-clustering.

其中基于近邻的方法(协同过滤)可以设定不同的度量准则。

相似度度量标准度量标准说明
cosineCompute the cosine similarity between all pairs of users (or items).
msdCompute the Mean Squared Difference similarity between all pairs of users (or items).
pearsonCompute the Pearson correlation coefficient between all pairs of users (or items).
pearson_baselineCompute the (shrunk) Pearson correlation coefficient between all pairs of users (or items) using baselines for centering instead of means.

支持不同的评估准则

评估准则准则说明
rmseCompute RMSE (Root Mean Squared Error).
maeCompute MAE (Mean Absolute Error).
fcpCompute FCP (Fraction of Concordant Pairs).

使用示例

基本使用方法如下
# 可以使用上面提到的各种推荐系统算法
from surprise import SVD
from surprise import Dataset
from surprise import evaluate, print_perf

# 默认载入movielens数据集，会提示是否下载这个数据集，这是非常经典的公开推荐系统数据集——MovieLens数据集之一
data = Dataset.load_builtin('ml-100k')
# k折交叉验证(k=3)
data.split(n_folds=3)
# 试一把SVD矩阵分解
algo = SVD()
# 在数据集上测试一下效果
perf = evaluate(algo, data, measures=['RMSE', 'MAE'])
#输出结果
print_perf(perf)
载入自己的数据集方法
# 指定文件所在路径
file_path = os.path.expanduser('~/.surprise_data/ml-100k/ml-100k/u.data')
# 告诉文本阅读器，文本的格式是怎么样的
reader = Reader(line_format='user item rating timestamp', sep='\t')
# 加载数据
data = Dataset.load_from_file(file_path, reader=reader)
# 手动切分成5折(方便交叉验证)
data.split(n_folds=5)
算法调参(让推荐系统有更好的效果)

这里实现的算法用到的算法无外乎也是SGD等，因此也有一些超参数会影响最后的结果，我们同样可以用sklearn中常用到的网格搜索交叉验证(GridSearchCV)来选择最优的参数。简单的例子如下所示：

# 定义好需要优选的参数网格
param_grid = {'n_epochs': [5, 10], 'lr_all': [0.002, 0.005],
              'reg_all': [0.4, 0.6]}
# 使用网格搜索交叉验证
grid_search = GridSearch(SVD, param_grid, measures=['RMSE', 'FCP'])
# 在数据集上找到最好的参数
data = Dataset.load_builtin('ml-100k')
data.split(n_folds=3)
grid_search.evaluate(data)
# 输出调优的参数组 
# 输出最好的RMSE结果
print(grid_search.best_score['RMSE'])
# >>> 0.96117566386

# 输出对应最好的RMSE结果的参数
print(grid_search.best_params['RMSE'])
# >>> {'reg_all': 0.4, 'lr_all': 0.005, 'n_epochs': 10}

# 最好的FCP得分
print(grid_search.best_score['FCP'])
# >>> 0.702279736531

# 对应最高FCP得分的参数
print(grid_search.best_params['FCP'])
# >>> {'reg_all': 0.6, 'lr_all': 0.005, 'n_epochs': 10}

在自己的数据集上训练模型

首先载入数据

import os
from surprise import Reader, Dataset
# 指定文件路径
file_path = os.path.expanduser('./popular_music_suprise_format.txt')
# 指定文件格式
reader = Reader(line_format='user item rating timestamp', sep=',')
# 从文件读取数据
music_data = Dataset.load_from_file(file_path, reader=reader)
# 分成5折
music_data.split(n_folds=5)

使用不同的推荐系统算法进行建模比较

### 使用NormalPredictor
from surprise import NormalPredictor, evaluate
algo = NormalPredictor()
perf = evaluate(algo, music_data, measures=['RMSE', 'MAE'])

### 使用BaselineOnly
from surprise import BaselineOnly, evaluate
algo = BaselineOnly()
perf = evaluate(algo, music_data, measures=['RMSE', 'MAE'])

### 使用基础版协同过滤
from surprise import KNNBasic, evaluate
algo = KNNBasic()
perf = evaluate(algo, music_data, measures=['RMSE', 'MAE'])

### 使用均值协同过滤
from surprise import KNNWithMeans, evaluate
algo = KNNWithMeans()
perf = evaluate(algo, music_data, measures=['RMSE', 'MAE'])

### 使用协同过滤baseline
from surprise import KNNBaseline, evaluate
algo = KNNBaseline()
perf = evaluate(algo, music_data, measures=['RMSE', 'MAE'])

### 使用SVD
from surprise import SVD, evaluate
algo = SVD()
perf = evaluate(algo, music_data, measures=['RMSE', 'MAE'])

### 使用SVD++
from surprise import SVDpp, evaluate
algo = SVDpp()
perf = evaluate(algo, music_data, measures=['RMSE', 'MAE'])

### 使用NMF
from surprise import NMF
algo = NMF()
perf = evaluate(algo, music_data, measures=['RMSE', 'MAE'])
print_perf(perf)

建模和存储模型

1.用协同过滤构建模型并进行预测

1.1 movielens的例子
# 可以使用上面提到的各种推荐系统算法
from surprise import SVD
from surprise import Dataset
from surprise import evaluate, print_perf

# 默认载入movielens数据集
data = Dataset.load_builtin('ml-100k')
# k折交叉验证(k=3)
data.split(n_folds=3)
# 试一把SVD矩阵分解
algo = SVD()
# 在数据集上测试一下效果
perf = evaluate(algo, data, measures=['RMSE', 'MAE'])
#输出结果
print_perf(perf)

"""
以下的程序段告诉大家如何在协同过滤算法建模以后，根据一个item取回相似度最高的item，主要是用到algo.get_neighbors()这个函数
"""

from __future__ import (absolute_import, division, print_function,
                        unicode_literals)
import os
import io

from surprise import KNNBaseline
from surprise import Dataset


def read_item_names():
    """
    获取电影名到电影id 和 电影id到电影名的映射
    """

    file_name = (os.path.expanduser('~') +
                 '/.surprise_data/ml-100k/ml-100k/u.item')
    rid_to_name = {}
    name_to_rid = {}
    with io.open(file_name, 'r', encoding='ISO-8859-1') as f:
        for line in f:
            line = line.split('|')
            rid_to_name[line[0]] = line[1]
            name_to_rid[line[1]] = line[0]

    return rid_to_name, name_to_rid


# 首先，用算法计算相互间的相似度
data = Dataset.load_builtin('ml-100k')
trainset = data.build_full_trainset()
sim_options = {'name': 'pearson_baseline', 'user_based': False}
algo = KNNBaseline(sim_options=sim_options)
algo.train(trainset)

# 获取电影名到电影id 和 电影id到电影名的映射
rid_to_name, name_to_rid = read_item_names()

# Retieve inner id of the movie Toy Story
toy_story_raw_id = name_to_rid['Toy Story (1995)']
toy_story_inner_id = algo.trainset.to_inner_iid(toy_story_raw_id)

# Retrieve inner ids of the nearest neighbors of Toy Story.
toy_story_neighbors = algo.get_neighbors(toy_story_inner_id, k=10)

# Convert inner ids of the neighbors into names.
toy_story_neighbors = (algo.trainset.to_raw_iid(inner_id)
                       for inner_id in toy_story_neighbors)
toy_story_neighbors = (rid_to_name[rid]
                       for rid in toy_story_neighbors)

print()
print('The 10 nearest neighbors of Toy Story are:')
for movie in toy_story_neighbors:
    print(movie)
1.2 音乐预测的例子
from __future__ import (absolute_import, division, print_function, unicode_literals)
import os
import io

from surprise import KNNBaseline
from surprise import Dataset

import cPickle as pickle
# 重建歌单id到歌单名的映射字典
id_name_dic = pickle.load(open("popular_playlist.pkl","rb"))
print("加载歌单id到歌单名的映射字典完成...")
# 重建歌单名到歌单id的映射字典
name_id_dic = {}
for playlist_id in id_name_dic:
    name_id_dic[id_name_dic[playlist_id]] = playlist_id
print("加载歌单名到歌单id的映射字典完成...")


file_path = os.path.expanduser('./popular_music_suprise_format.txt')
# 指定文件格式
reader = Reader(line_format='user item rating timestamp', sep=',')
# 从文件读取数据
music_data = Dataset.load_from_file(file_path, reader=reader)
# 计算歌曲和歌曲之间的相似度
print("构建数据集...")
trainset = music_data.build_full_trainset()
#sim_options = {'name': 'pearson_baseline', 'user_based': False}
  • current_playlist => 歌单名
  • playlist_id => 歌单id(网易给的歌单id)
  • playlist_inner_id => 内部id(对所有歌单id重新从1开始编码)
print("开始训练模型...")
#sim_options = {'user_based': False}
#algo = KNNBaseline(sim_options=sim_options)
algo = KNNBaseline()
algo.train(trainset)

current_playlist = name_id_dic.keys()[39]
print(current_playlist)

# 取出近邻
playlist_id = name_id_dic[current_playlist]
print(playlist_id)
playlist_inner_id = algo.trainset.to_inner_uid(playlist_id)
print(playlist_inner_id)

playlist_neighbors = algo.get_neighbors(playlist_inner_id, k=10)

# 把歌曲id转成歌曲名字
playlist_neighbors = (algo.trainset.to_raw_uid(inner_id)
                       for inner_id in playlist_neighbors)
playlist_neighbors = (id_name_dic[playlist_id]
                       for playlist_id in playlist_neighbors)

print()
print("和歌单 《", current_playlist, "》 最接近的10个歌单为：\n")
for playlist in playlist_neighbors:
    print(playlist)

2.用SVD矩阵分解进行预测

### 使用SVD++
from surprise import SVDpp, evaluate
from surprise import Dataset

file_path = os.path.expanduser('./popular_music_suprise_format.txt')
# 指定文件格式
reader = Reader(line_format='user item rating timestamp', sep=',')
# 从文件读取数据
music_data = Dataset.load_from_file(file_path, reader=reader)
# 构建数据集和建模
algo = SVDpp()
trainset = music_data.build_full_trainset()
algo.train(trainset)
surprise，一个有趣的 Python 库！
涛哥聊Python
06-30 1111
Surprise库支持从Pandas DataFrame中加载数据。# 创建DataFramedata = {# 定义数据格式# 加载数据print("数据加载成功！")Surprise库是一个功能强大且易于使用的推荐系统开发工具，能够帮助开发者高效地构建、评估和优化推荐系统。通过支持多种推荐算法、灵活的数据加载方式、易于评估和超参数优化等特性，Surprise库能够满足各种推荐系统开发需求。本文详细介绍了Surprise库的安装方法、主要特性、基本和高级功能，以及实际应用场景。
基于Python和Surprise库，新手也能动手搭建推荐系统
m0_59236602的博客
01-30 644
海象运算符也称为赋值表达式操作符，是 Python 3.8 中引入的一个新特性。它允许为变量赋值，并在同一个表达式中使用，而无需写两次。海象运算符的语法是:=，它可以用于不允许使用常规赋值语句的地方，例如 lambda 函数、列表理解或条件表达式。例如，假设您想编写一个函数来检查一个字符串是否是回文字符串（正向阅读和反向阅读时是否相同）。但是，这种方法会创建一个字符串副本，对于大字符串来说效率很低。这样，只需反转字符串一次，如有需要，还可以将变量 rev 用于其他用途。
2025年最详细Anaconda安装+环境配置+基础命令（仅一篇帮你解决所有关于Anaconda的问题，巨详细面向小白，有注意点提示）
最新发布
weixin_52145255的博客
04-15 3659
2025年一篇文章帮你解决所有关于Anaconda的安装配置问题，巨详细面向小白，有注意点提示。
Surprise: 一个强大的Python推荐系统库
2401_87458718的博客
09-25 1281
Surprise是一个强大的Python推荐系统库,专门用于构建和分析处理显式评分数据的推荐系统。作为一个Python scikit库,Surprise为推荐系统研究和开发提供了一个全面而灵活的工具集。SurpriseSurprise为推荐系统的研究和开发提供了一个强大而灵活的工具。无论是学术研究还是商业应用,Surprise都能满足各种推荐系统的需求。通过其丰富的算法库、便捷的数据处理功能和全面的评估工具,开发者可以快速构建、测试和优化推荐模型。
Surprise——Python的推荐系统库（1）
热门推荐
半吊子python全栈
04-17 1万+
基于Surprise推荐系统实战本文就movielens数据集做测试，实践推荐。movielens数据集格式为：user item rating timestamp 其中主要用到前三列，timestamp在处理自己的数据集的时候可以用别的特征替换，在此不做详细说明。本文基于开源推荐框架surprise，传送门。官网上的例子直接用 Dataset.load_builtin(‘ml-100k’)载入数...
Python Surprise 实现推荐系统入门
肖哥弹架构博客
02-17 577
推荐系统是人工智能领域的重要应用之一，旨在根据用户的历史行为和偏好，向用户推荐可能感兴趣的商品或内容。`Surprise` 是一个 Python 库，专门用于构建和评估推荐系统。它提供了多种推荐算法，包括协同过滤、基于内容的推荐和矩阵分解等。本文介绍如何使用 Python 和 Surprise 库实现一个推荐系统。
scikit_surprise推荐系统库
06-08
支持多种推荐算法，SVD, PMF, SVD++, NMF,neighborhood methods,baseline algorithms
python surprise库_Python推荐系统库——Surprise
weixin_39621235的博客
02-03 663
@ 2018-01-24Surprise在推荐系统的建模过程中，我们将用到python库 Surprise(Simple Python RecommendatIon System Engine)，是scikit系列中的一个(很多同学用过scikit-learn和scikit-image等库)。Surprise的User Guide有详细的解释和说明简单易用，同时支持多种推荐算法：算法类名说明Alg...
python surprise
MLee 的博客
05-16 2048
surprise 库 目录 surprise 库 目录 参考文档 安装 预测算法 prediction_algorithms包 The algorithm base class 算法基类 Baselines estimates configuration 基线法估计配置 使用GridSearchCV调整算法参数 Similarity measure configuration 相似度...
推荐系统surprise库教程
百载文枢江左的博客
11-19 4673
推荐系统surprise库官方文档解读安装时常见问题Surprise的功能示例使用内置的数据集+交叉验证不使用交叉验证，只把数据集分割一次 安装时常见问题 surprise库的github地址https://github.com/NicolasHug/Surprise 安装常见问题：出现报错（error: Microsoft Visual C++ 14.0 is required. Get it ...
python surprise库_Python推荐系统库--Surprise理论
weixin_39557087的博客
11-29 877
SurpriseSurprise是scikit系列中的一个。Surprise的User Guide有详细的解释和说明支持多种推荐算法下面介绍几种算法基础算法：说明：Algorithm predicting a random rating based on the distribution of the training set, which is assumed to be normal.意思是：...
surprise库
06-15
超好用的推荐系统库，简单易用，安装容易出bug，下载可咨询安装常见问题。
Python-Surprise一个Pythonscikit构建和分析推荐系统
08-11
Surprise一个Python scikit构建和分析推荐系统
推荐系统实战——猜你喜欢推荐系统
06-17
课程可能涵盖Python编程语言的应用，因为它是数据分析和机器学习领域常用的语言，拥有丰富的库支持，如Pandas用于数据处理，Numpy用于数值计算，以及Scikit-learn或Surprise等库用于推荐系统实现。 此外，课程可能...
用于构建和分析推荐系统的Pythonscikit_Python_Cython_.zip
04-13
Pythonscikit_Python_Cython_.zip这个压缩包很可能包含了使用这些工具的资源，特别是"Surprise-master"这个子文件，它是著名的Python推荐系统库——Surprise的源代码。 首先，让我们深入了解每个工具的作用： **...
推荐系统（一）：使用Surprise库建立推荐系统 —— MovieLens电影推荐
InitialHeart2021的博客
05-19 713
版权声明：本文为博主原创文章，未经博主允许不得转载。 文章目录一、Surprise介绍二、设计surprise时考虑到以下目的三、常用类四、安装五、网址六、数据介绍6.1 描述七、代码实现7.1 本地加载数据集7.2 GridSearch寻找最优参数7.3 得出推荐结果八、Bug 一、Surprise介绍 Surprise是一个基于Python scikit构建和分析推荐系统。 Surprise（Simple Python Recommendation System Engine）是一款推荐系统库
机器学习算法（11）之推荐系统库--Surprise
不曾走远的博客
09-09 3327
Surprise 使用示例 基本使用方法如下 载入自己的数据集方法 算法调参让推荐系统有更好的效果 支持不同的评估准则 其中基于近邻的方法协同过滤可以设定不同的度量准则 简单易用同时支持多种推荐算法 在自己的数据集上训练模型 首先载入数据 使用不同的推荐系统算法进行建模比较 建模和存储模型 用协同过滤构建模型并进行预测 1 mo...
推荐系统surprise算法库学习
weixin_46884405的博客
08-10 774
surprise算法库学习
基于python的推荐系统项目
03-22
### 基于 Python 的推荐系统项目示例 在 GitHub 上有许多适合新手学习的开源项目，其中包括基于 Python 实现的推荐系统。这类项目可以帮助开发者理解如何构建个性化推荐算法以及实际应用中的实现细节[^1]。 #### 推荐系统的常见类型 推荐系统通常分为两种主要类型：协同过滤和基于内容的推荐。 - **协同过滤**：通过分析用户行为数据来发现相似用户或物品之间的关系。常见的方法包括基于用户的协同过滤 (User-Based Collaborative Filtering) 和基于物品的协同过滤 (Item-Based Collaborative Filtering)[^2]。 - **基于内容的推荐**：利用物品本身的特征向量计算相似度，并为用户提供与他们过去喜欢的内容类似的推荐项[^3]。 以下是几个典型的基于 Python 的推荐系统项目： --- ### 1. Surprise 库 —— 协同过滤框架 Surprise 是一个专注于构建推荐系统的 Python 库，支持多种经典的推荐算法，例如 SVD、KNN 等。它提供了简单易用的 API 来加载数据集并训练模型。 ```python from surprise import Dataset, Reader, KNNBasic from surprise.model_selection import cross_validate # 数据读取器 reader = Reader(line_format='user item rating timestamp', sep=',') data = Dataset.load_from_df(ratings[['userId', 'movieId', 'rating']], reader) # 使用 KNN 算法进行建模 algo = KNNBasic() cross_validate(algo, data, measures=['RMSE', 'MAE'], cv=5, verbose=True) ``` 此库非常适合初学者快速入门推荐系统的设计与实现。 --- ### 2. MovieLens 数据集 + 自定义推荐引擎 MovieLens 是一个广泛使用的公开数据集，包含大量电影评分记录。许多开发者会结合该数据集创建自己的推荐系统。以下是一个简单的例子： ```python import pandas as pd from sklearn.metrics.pairwise import cosine_similarity # 加载数据 ratings = pd.read_csv('ml-latest-small/ratings.csv') # 构造用户-物品矩阵 pivot_table = ratings.pivot(index='userId', columns='movieId', values='rating').fillna(0) # 计算余弦相似度 similarity_matrix = cosine_similarity(pivot_table.T) def recommend_movies(user_id): user_ratings = pivot_table.loc[user_id].values.reshape(-1, 1) scores = similarity_matrix.dot(user_ratings).flatten() recommended_movie_ids = (-scores).argsort()[:10] return list(recommended_movie_ids) print(recommend_movies(1)) ``` 上述代码展示了如何使用 Pandas 处理数据并通过 Cosine Similarity 方法生成推荐列表。 --- ### 3. TensorFlow Recommenders (TFRS) TensorFlow 提供了一套专门用于构建推荐系统的高级工具 TFRS。它可以轻松集成深度学习模型到推荐流程中，适用于更复杂的场景。 ```python import tensorflow as tf import tensorflow_recommenders as tfrs class MovielensModel(tfrs.models.Model): def __init__(self, unique_user_ids, unique_movie_titles): super().__init__() self.user_embedding = tf.keras.Sequential([ tf.keras.layers.StringLookup(vocabulary=unique_user_ids), tf.keras.layers.Embedding(len(unique_user_ids)+1, embedding_dim) ]) # 定义其他组件... model.compile(optimizer=tf.keras.optimizers.Adagrad()) model.fit(train_data, epochs=num_epochs) ``` 这段代码片段说明了如何借助 TensorFlow 构建端到端的推荐解决方案。 --- ### §相关问题§ 1. 如何评估推荐系统的性能指标？ 2. 是否存在更适合处理大规模稀疏矩阵的推荐算法？ 3. 在工业界中，推荐系统有哪些主流架构设计模式？ 4. 如果想进一步优化推荐效果，可以尝试哪些改进措施？ 5. 对于冷启动问题，有哪些有效的解决策略？
评论 30
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值