本文提出了一种新的推荐系统遗忘学习框架RRL，通过反向个性化排序目标和Fisher信息矩阵分析来平衡推荐性能与数据删除完整性。实验结果显示，RRL在保持推荐性能的同时有效抵御了遗忘完整性攻击，尤其在处理稀疏数据集时表现优秀。
RRL: Recommendation Reverse Learning. AAAI 2024: 9296-9304
Xiaoyu You, Jianwei Xu, Mi Zhang, Zechen Gao, Min Yang:
目录
摘要：
随着社会对数据隐私的日益关注，法规要求必须从数据库和ML模型中移除有关用户的隐私信息，这更通俗地称为"被遗忘权"。这些拥有大量隐私数据的推荐系统的隐私问题正受到越来越多的关注。最近的研究建议将偏好数据划分为多个分片并使用这些分片训练子模型，通过重新训练已标记分片的子模型来遗忘用户的个人偏好数据。尽管与从头开始重新训练相比计算效率有所发展，但由于训练数据中包含的协同信息被打破，划分分片后整体推荐性能变差。在本文中，我们旨在为推荐模型提出一种既不分离训练数据又不危及推荐性能的遗忘框架，命名为推荐反向学习( Recommendation Reverse Learning，RRL )。基于训练好的推荐模型和已标记的偏好数据，我们设计了反向BPR目标( RPR目标)来微调推荐模型，迫使其遗忘已标记的数据。由于推荐模型编码了用户间复杂的协作信息，我们提出利用Fisher信息矩阵( Fisher Information Matrix，FIM )来估计反向学习对其他用户协作信息的影响，并指导表示的更新。我们在两个具有代表性的推荐模型和三个公开的基准数据集上进行实验来验证RRL的效率。对于遗忘完备性，我们使用RRL使受托攻击毒害的推荐模型遗忘恶意用户。
当前技术存在的问题：
1、旨在消除推荐模型中标记交互影响的推荐遗忘学习方法。
2、最简单的是直接从历史交互中删除有标记的交互，再从头开始训练推荐模型，但计算成本高。
3、最近提出的，将历史交互分割成若干个分片，在每个分片上训练一个子模型，删除某个交互时，将对应的子模型从头开始训练，最后再聚合所有子模型。保证了删除和遗忘学习的执行效率，但推荐性能下降。（因为分割会破坏交互中包含的协同信息）
4、最近兴起的遗忘学习技术——反向学习。反向学习旨在更新当前模型的参数，迫使模型"遗忘"已标记的数据，就好像已标记的数据没有参与的训练过程。（该文章采用的反向学习，无需拆分推荐模型的遗忘学习机制）
但应用于推荐模型的反向学习面临的挑战有：
（1）如何确定遗忘交互数据的反向目标？
（2）如何平衡移除完整性和反向推荐的性能?——（a） 仅更新用户嵌入：包含用户首选项的项目嵌入不会更新，导致删除不完整。（b） 同时更新用户嵌入和项目嵌入：由于偏好信息纠缠在项目嵌入中，此类更新可能会导致其他用户偏好的灾难性遗忘，从而导致对其他用户的推荐不准确。总之，根据 RPR 目标更新推荐模型的嵌入面临着正常效用和删除完整性之间的权衡。
用于推荐遗忘学习的反向学习框架——推荐反向学习（RRL）
为了解决第一个挑战，我们设计了一个名为反向个性化排序( Reversed Personalized Ranking，RPR )的反向目标，该目标同时考虑了预测评分和标记交互的排名。也就是说，有标记的交互项的预测得分应该与无交互项的预测得分相近甚至更小。针对第二个挑战，我们引入费舍尔信息矩阵( Fisher Information Matrix，FIM )来衡量用户和项目表示之间的协同相似度。在此之后，我们设计了一个协同相似正则化器(称为CS正则器)，并将其添加到反向目标中，以指导用户和项目表示的更新。
1、反向个性化排序目标（RPR）
在推荐系统中，对于任意用户，交互项的预测分数将大于非交互项。因此，用户 u 对她/他标记的交互的反向目标可以是：使标记交互的预测分数小于未交互的项目，可以写成如下：
2、基于Fisher信息矩阵（FIM）的协同相似度分析
推荐模型f θ表示协同相似度，用户和项目的d维嵌入表示为eu = fθ ( u )和ei = fθ ( i )。
通过排名损失来优化嵌入,贝叶斯个性化排名损失 （BPR）表示为：
FIM等价于BPR损失的二阶导数：
该矩阵可以帮助度量学习交互数据D后eu与其他嵌入之间的相关性，即给定另一个任意嵌入ei，ei与eu之间的相关性可以通过 计算。
Corr( ei , eu)值越大表明ei和eu之间的协同相似度越大。
提出在RPR目标的优化过程中加入协同相似度作为正则项。修订后的RPR目标可写为(命名为协同相似正则化器,简称CS正则化器)。（式（3）中第二项是正则化项或者惩罚项）
RRL的贝叶斯解释：
学习过程可以看作是在g ( θ )的先验分布下最大化由θ估计的后验分布，即max P ( θ | D)。这样的后验分布P ( θ | D)可以分解如下。
可以推导出对数后验分布log P ( θ | D/∆D) 为：
最小化标记交互作用的可能性 ∆D 等同于最小化方程 2 中的 RPR 目标。然后，通过最大化对数似然 P （D | θ） 来学习最优参数 θ0，这相当于最小化方程 1 中的 BPR 损失。我们可以近似后验对数 P （θ |D/∆D） 利用 θ0 并假设先验分布 g（θ） 为正态分布 N （θ， σ2） 为
在最优点，我们有 LBPR（D; θ0）≈ 0和
然后可以推导出最优后验分布的近似值为
最大化后验分布对数 P（ θ |D/∆D） 等同于方程 3 中的 RRL 目标，即使用 CS 正则化器最小化 RPR 目标。
在推荐模型的设置中计算FIM的计算量是昂贵的。因此，提出用一阶导数近似FIM，即
实验
研究的问题：
RQ1：与现有的忘却方法相比，RRL在推荐和运行时间方面的表现如何？
RQ2：RRL 能否在学习推荐模型上实现标记交互的删除完整性？
RQ3：RRL在不同忘却设置下的性能如何？
1、实验设置
（1）数据集：Gowalla （Liang et al. 2016）、Yelp2018 （Wang et al. 2019） 和 Movilens-1m（称为 ML-1M）
（2）基线：Retrain、SISA、RecEraser
（3）评估指标：Recall@K 和 NDCG@K
Recall@K召回率是指前topK结果中检索出的相关结果数和库中所有的相关结果数的比率，衡量的是检索系统的查全率。
NDCG @ K是位置感知的排序指标，对排名较高的的命中数赋予较高的分数。
2、RQ1：效用和效率评估
对于遗忘学习模型的整体性能，所提出的RRL结果与Retrain的结果最等价。忘却后，Retrain 和 RRL 的推荐性能会略有下降，例如 0.001。我们推断主要原因是，忘掉 100 个用户的交互可能会增加推荐数据的稀疏性，从而导致推荐性能略有下降。
（1）Gowalla和Yelp2018上的SISA和RecEraser都会导致推荐性能的下降，例如，Gowalla的Recall下降范围为0.001至0.09，NDCG的下降幅度在[0.01,0.07]范围内，而Yelp2018的Recall下降幅度为0.001至0.03，NDCG的下降幅度为[0.024， 0.03].这主要是因为将交互拆分为不同的分片可以提高这两个数据集的稀疏性，这两个数据集在第一个数据集中非常稀疏。
（2） SISA 和 RecEraser 在数据集 ML-1M 上的性能远优于 Retrain 和 RRL。这是因为数据集 ML1M 不是很稀疏，例如，它的密度分别是 Yelp2018 和 Gowalla 的 37 倍和 58 倍。我们检查了 SISA 和 RecEraser 子模型的性能，它比 Retrain 和 RRL 差得多。但是，子模型结果的聚合可以提高此类数据集的推荐性能。
3、RQ2：移除完整性评估
利用先令攻击来注入恶意用户并遗忘这些恶意用户。
在忘却后，目标项目的 #Rec 将降低，例如，在 MF-BPR 模型上将降低到 0，在 LightGCN 上将降低近 80%。此外，拟议的RRL与先令攻击（托攻击）的类型无关。当遗忘人气攻击和双层攻击产生的恶意用户时，目标项目的推荐至少可以减少 80%。这表明拟议的 RRL 可以强制执行删除完整性的保证。
（由于对用户历史信息的依赖，部分异常用户利用欺骗手段将攻击用户的信息注入推荐系统，并操纵这些用户模拟正常用户的评分和评论，从而提高或降低推荐系统的推荐频率，目标产品。这种行为被称为“先令攻击”。攻击性行为会干扰推荐系统的正常结果，损害普通用户的根本利益，降低普通用户的推荐体验和推荐质量，从而危及推荐系统的安全性和鲁棒性。）
4、RQ3：RRL的研究
（1）顺序遗忘：
即使模型按顺序更新，推荐性能也不会受到影响。这是因为 RRL 将更新 FIM 为下一次遗忘学习做准备。对于不同规模的群体，遗忘后的减少不是很显著。
（2）遗忘不同的用户：不同的用户对推荐模型的学习会有不同的贡献。例如，忘记具有大量历史交互的用户将降低推荐性能，因为他/她的交互对推荐模型的贡献更大。
标记的用户集按这些用户的平均程度进行排名，例如，从最小程度到最大程度。正如我们所看到的，当忘记最重要的用户时，整体性能会下降，但降级不会大于 0.05。
（3）消融研究：带或不带 CS 正则化器。
如果没有CS正则化器，RRL无法完全消除恶意用户的影响，整体性能也会受到负面影响。
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
