基于矩阵分解算法的评分预测实现---信息检索课设以及所涉及的深度学习原理

一、实验环境

Windows，Python 3

Python作为主要编程语言，使用Python的Pandas、NumPy、Matplotlib等库

二、实验内容

主要任务

1. 查阅相关资料，了解矩阵分解算法的基本概念、应用场景及其难点。重点了解SVD（Singular Value Decomposition，奇异值分解）系列方法。
2. 掌握Python语言的基本使用。
3. 了解梯度下降算法概念，熟悉并复现矩阵分解算法。
4. 在标准评测数据集MovieLens上验证矩阵分解算法。
5. 学习numpy或pandas的基本使用方法，能够对ratings.csv和movies.csv文件中的数据进行提取。使用numpy或sklearn中的知识，随机划分训练集、验证集、测试集，比例为8:1:1。
6. 使用Python语言或利用PyTorch、TensorFlow等深度学习库，复现矩阵分解算法，在标准评测数据集MovieLens上验证该算法，并且能够取得较低的均方误差(MSE不能高于1.5)。

三、实验过程

第一步：学习numpy或pandas的基本使用方法，能够对ratings.csv和movies.csv文件中的数据进行提取。

运行结果：

通过这些处理，生成了两个新的文件moviesProcessed.csv和ratingsProcessed.csv，其中包含了处理后的电影信息和电影评分信息，为后续的推荐系统构建提供了处理后的数据。

第二步：划分使用numpy或sklearn中的知识，随机划分训练集、验证集、测试集，比例为8:1:1。

随机划分训练集(80%)train_data、验证集(10%)valid_data和测试集(10%)test_data。

第三步：使用Python语言或利用PyTorch、TensorFlow等深度学习库，复现矩阵分解算法。

为了创建矩阵分解模型,我们使用嵌入来显示用户和电影,使用点积来捕捉它们之间的相互作用。

我们还引入了用户和电影的偏置,以考虑用户和电影的整体评分倾向。

def matrix_factorization_model(num_users, num_movies, embedding_size=10):
    user_input = Input(shape=(1,), name='user_input')
    user_embedding = Embedding(input_dim=num_users, output_dim=embedding_size, input_length=1)(user_input)

    movie_input = Input(shape=(1,), name='movie_input')
    movie_embedding = Embedding(input_dim=num_movies, output_dim=embedding_size, input_length=1)(movie_input)
   偏置：
    user_bias = Embedding(input_dim=num_users, output_dim=1, input_length=1)(user_input)
    movie_bias = Embedding(input_dim=num_movies, output_dim=1, input_length=1)(movie_input)

    dot_user_movie = Dot(axes=2)([user_embedding, movie_embedding])
    dot_user_movie = Add()([dot_user_movie, user_bias, movie_bias])
    prediction = Flatten()(dot_user_movie)

    model = Model(inputs=[user_input, movie_input], outputs=prediction)