WSDM 2025 | 从谱视角揭开推荐系统流行度偏差放大之谜

本文共1800字，建议阅读9分钟
我们的研究不仅揭示了推荐系统流行度偏差放大的深层原因，还提出了高效的纠偏策略，为推荐系统的优化提供了重要思路和有效解决方案。

©PaperWeekly 原创 · 作者 | 林思仪

单位 | 浙江大学

研究方向 | 推荐系统

INTRO（太长不看版）

本文揭示了推荐系统流行度偏差放大的原因，我们发现： 

1. 流行度存储效应：推荐模型的评分矩阵的最大奇异向量（第一主成分）与物品的流行度向量高度相似，流行度信息几乎完全由主特征向量所捕获。 

2. 流行度放大效应：维度缩减现象加剧了流行度偏差的“放大效应”，主要源于推荐模型中用户和物品 Embedding 的低秩设定以及优化过程中的维度缩减。 

为了解决这个问题，我们提出了一种基于正则项的方法——ReSN，通过在推荐模型的损失函数中引入谱范数正则项，约束评分矩阵的谱的权重（最大奇异值），从而缓解流行度偏差。

论文题目：

How Do Recommendation Models Amplify Popularity Bias? An Analysis from the Spectral Perspective

论文地址：

https://arxiv.org/abs/2404.12008

一、研究动机

推荐系统是基于用户的历史行为数据进行个性化推荐的核心技术。但你知道吗？推荐系统往往“偏爱”热门内容！ 

比如，在 Douban 数据集中，前 0.6% 热门物品占模型推荐物品的超过 63%，前 20% 的热门物品占了推荐列表的 99.7%！这导致冷门物品几乎无缘被推荐，用户陷入“信息茧房”，无法发现更多新鲜、有趣的内容。

这要从数据的长尾分布开始说起，用户行为数据和物品的流行度通常呈现长尾分布，而推荐模型在这样长尾分布的数据上训练学习，不仅会继承这种倾斜的分布，甚至会放大，导致热门物品被过度推荐。

而推荐系统为什么会放大流行度偏差呢？请接着往下看，本文会给你一个答案！

二、核心发现

1. 流行度记忆效应：推荐模型的评分矩阵的最大奇异向量（第一主成分）与物品的流行度向量高度相似，最大奇异向量几乎完全捕获了物品的流行度特性。

实验发现，多个推荐模型的评分矩阵的最大奇异向量（第一主成分）与物品的流行度向量的余弦相似度超过 98%！

我们也从理论证明了以上现象，感兴趣的同学们可以看原文。

2. 流行度放大效应：维度缩减现象加剧了流行度偏差的“放大效应”。

维度缩减现象主要来源于两个方面： 

1. 推荐模型中用户和物品 Embedding 通常设置为低维（低秩），这种低秩设定会放大评分矩阵中最大奇异值的相对重要性，进而加剧流行度偏差；

2. 优化过程中，最大奇异值增长优先且迅速，其他奇异值增长缓慢，导致模型更多依赖最大奇异特征（即流行度特征），从而进一步增强热门物品在推荐列表中的比例。

实验发现当 Embedding 维度减少时，主奇异值的相对重要性显著上升，推荐结果中热门物品的比例也随之增加。

实验还发现训练过程中的奇异值分布动态：早期主奇异值快速增长，这与热门物品的优先推荐趋势一致。随着训练继续，尾部奇异值增长滞后，流行度偏差仍保持较高水平。

我们也从理论角度建立了奇异值分布与推荐中热门物品比例之间的关系，感兴趣的同学们可以看原文。

三、新方法：基于约束谱范数的纠偏方法ReSN

我们的解决方法——ReSN (Regulating with Spectral Norm)，核心是通过正则化谱范数（主奇异值）来抑制流行度偏差，优化目标函数如下所示：

其中，  代表原始推荐损失，  表示矩阵的谱范数（用于衡量主奇异值），  则是用于控制正则化项权重的参数。

然而，在实际计算过程中，面临着诸多严峻挑战。一方面，预测分数矩阵   通常具有庞大的规模（n×m 维），这使得直接计算其谱范数所需的计算资源和时间成本极高，几乎难以实现。另一方面，传统计算谱范数梯度的方法大多是迭代式的，这无疑进一步加重了计算开销，导致模型训练效率极为低下。

改进策略

简化谱范数计算：利用主奇异向量与物品流行度向量之间的对齐关系，将复杂的矩阵谱范数计算转化为相对简单的向量 L2 范数计算。

挖掘矩阵   低秩特性：通过约束矩阵   的（其中   和   分别表示用户和物品的嵌入矩阵）谱范数来避免直接处理庞大的矩阵，从而提高计算效率。

优化后的损失函数为：

ReSN 方法不依赖后处理，直接在训练中去偏，从源头解决问题。

高效轻量，避免了庞大矩阵的直接计算，训练效率高！

四、实验亮点

在七个真实数据集上的实验验证中，ReSN 全面优于其他方法。

主性能实验：ReSN 在推荐整体准确性和纠偏性两方面都表现突出。

帕累托曲线：深入探究准确性-公平性之间的权衡。

五、总结

我们的研究不仅揭示了推荐系统流行度偏差放大的深层原因，还提出了高效的纠偏策略，为推荐系统的优化提供了重要思路和有效解决方案。感兴趣的同学可以移步论文细读。

编辑：黄继彦

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。

新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU