WSDM 2025 | 从谱视角揭开推荐系统流行度偏差放大之谜

©PaperWeekly 原创 · 作者 | 林思仪

单位 | 浙江大学

研究方向 | 推荐系统

INTRO

太长不看版

本文揭示了推荐系统流行度偏差放大的原因，我们发现： 

1. 流行度存储效应：推荐模型的评分矩阵的最大奇异向量（第一主成分）与物品的流行度向量高度相似，流行度信息几乎完全由主特征向量所捕获。 

2. 流行度放大效应：维度缩减现象加剧了流行度偏差的“放大效应”，主要源于推荐模型中用户和物品 Embedding 的低秩设定以及优化过程中的维度缩减。 

为了解决这个问题，我们提出了一种基于正则项的方法——ReSN，通过在推荐模型的损失函数中引入谱范数正则项，约束评分矩阵的谱的权重（最大奇异值），从而缓解流行度偏差。

论文题目：

How Do Recommendation Models Amplify Popularity Bias? An Analysis from the Spectral Perspective

论文地址：

https://arxiv.org/abs/2404.12008

研究动机

推荐系统是基于用户的历史行为数据进行个性化推荐的核心技术。但你知道吗？推荐系统往往“偏爱”热门内容！ 

比如，在 Douban 数据集中，前 0.6% 热门物品占模型推荐物品的超过 63%，前 20% 的热门物品占了推荐列表的 99.7%！这导致冷门物品几乎无缘被推荐，用户陷入“信息茧房”，无法发现更多新鲜、有趣的内容。

这要从数据的长尾分布开始说起，用户行为数据和物品的流行度通常呈现长尾分布，而推荐模型在这样长尾分布的数据上训练学习，不仅会继承这种倾斜的分布，甚至会放大，导致热门物品被过度推荐。

而推荐系统为什么会放大流行度偏差呢？请接着往下看，本文会给你一个答案！

核心发现

1. 流行度记忆效应：推荐模型的评分矩阵的最大奇异向量（第一主成分）与物品的流行度向量高度相似，最大奇异向量几乎完全捕获了物品的流行度特性。

实验发现，多个推荐模型的评分矩阵的最大奇异向量（第一主成分）与物品的流行度向量的余弦相似度超过 98%！

我们也从理论证明了以上现象，感兴趣的同学们可以看原文。

2. 流行度放大效应：维度缩减现象加剧了流行度偏差的“放大效应”。

维度缩减现象主要来源于两个方面： 

1. 推荐模型中用户和物品 Embedding 通常设置为低维（低秩），这种低秩设定会放大评分矩阵中最大奇异值的相对重要性，进而加剧流行度偏差；

2. 优化过程中，最大奇异值增长优先且迅速，其他奇异值增长缓慢，导致模型更多依赖最大奇异特征（即流行度特征），从而进一步增强热门物品在推荐列表中的比例。

实验发现当 Embedding 维度减少时，主奇异值的相对重要性显著上升，推荐结果中热门物品的比例也随之增加。

实验还发现训练过程中的奇异值分布动态：早期主奇异值快速增长，这与热门物品的优先推荐趋势一致。随着训练继续，尾部奇异值增长滞后，流行度偏差仍保持较高水平。

我们也从理论角度建立了奇异值分布与推荐中热门物品比例之间的关系，感兴趣的同学们可以看原文。

新方法：基于约束谱范数的纠偏方法ReSN

我们的解决方法——ReSN (Regulating with Spectral Norm)，核心是通过正则化谱范数（主奇异值）来抑制流行度偏差，优化目标函数如下所示：

其中， 代表原始推荐损失， 表示矩阵的谱范数（用于衡量主奇异值）， 则是用于控制正则化项权重的参数。

然而，在实际计算过程中，面临着诸多严峻挑战。一方面，预测分数矩阵 通常具有庞大的规模（n×m 维），这使得直接计算其谱范数所需的计算资源和时间成本极高，几乎难以实现。另一方面，传统计算谱范数梯度的方法大多是迭代式的，这无疑进一步加重了计算开销，导致模型训练效率极为低下。

改进策略

简化谱范数计算：利用主奇异向量与物品流行度向量之间的对齐关系，将复杂的矩阵谱范数计算转化为相对简单的向量 L2 范数计算。

挖掘矩阵 低秩特性：通过约束矩阵 的（其中 和 分别表示用户和物品的嵌入矩阵）谱范数来避免直接处理庞大的矩阵，从而提高计算效率。

优化后的损失函数为：

ReSN 方法不依赖后处理，直接在训练中去偏，从源头解决问题。

高效轻量，避免了庞大矩阵的直接计算，训练效率高！

实验亮点

在七个真实数据集上的实验验证中，ReSN 全面优于其他方法。

主性能实验：ReSN 在推荐整体准确性和纠偏性两方面都表现突出

帕累托曲线：深入探究准确性-公平性之间的权衡

总结

我们的研究不仅揭示了推荐系统流行度偏差放大的深层原因，还提出了高效的纠偏策略，为推荐系统的优化提供了重要思路和有效解决方案。感兴趣的同学可以移步论文细读。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

·