On the Effectiveness of Unlearning in Session-Based Recommendation.
CoRR abs/2312.14447 (2023)
作者：Xin Xin, Liu Yang, Ziqi Zhao, Pengjie Ren, Zhumin Chen, Jun Ma, Zhaochun Ren
目录
摘要：
基于会话的推荐从会话中的先前交互中预测用户的未来兴趣。尽管存在对历史样本的记忆，但由于用户隐私或模型保真度等原因，也会出现unlearning的要求，即去除某些训练样本的影响。然而，现有的关于忘记学习的研究并没有针对基于会话的推荐。一方面，由于unlearning项与会话中剩余项之间存在协同相关性和顺序连接，这些方法无法取得令人满意的unlearning效果。另一方面，很少有工作在基于会话的推荐场景中进行验证unlearning有效性的研究。
在本文中，我们提出了一种基于会话的推荐unlearning框架SRU，该框架能够使基于会话的推荐中具有较高的unlearning效率、准确的推荐性能和改进的unlearning有效性。具体来说，我们首先根据会话之间的相似性将训练会话划分为单独的子模型，然后根据会话与子模型中数据的质心之间的相关性，使用基于注意力的聚合层来融合隐藏状态。为了提高unlearning的有效性，我们进一步提出了三种额外的数据删除策略，包括协作额外删除( CED )，邻居额外删除( NED )和随机额外删除( RED )。此外，我们还提出了一个评价指标来衡量数据删除后是否可以推断unlearning样本，以验证unlearning的有效性。我们在三个具有代表性的基于会话的推荐模型上实现了SRU，并在三个基准数据集上进行了实验。实验结果证明了我们方法的有效性。
现状分析
目前立法规定强调了个人有权将自己的私人信息从训练好的机器学习模型中移除。在用户方面，已经有大量的研究证明，用户的各种隐私信息，如性别，年龄，甚至政治倾向，都可以从与推荐系统的历史交互中推断出来。针对隐私问题，用户可能会觉得有必要请求特定历史交互的擦去。此外，熟练的推荐模型具有消除噪声训练交互影响的能力，以获得更好的性能。
1、Machine unlearning
一种直接的精确unlearning方法是从训练数据集中移除目标样本，然后从头开始重新训练整个模型。然而这种方法受到其耗时和资源密集型性质的阻碍。为了解决这个问题，现有的方法专注于提高unlearning的效率。
其中最具代表性的一种unlearning方法是SISA 。SISA最初将训练数据集划分为大小相等的不相交的分片。随后，在每个子块上独立训练子模型。为了形成给定数据点的最终模型预测，每个子模型的预测通过多数投票或平均进行聚合。当出现unlearning请求时，重新训练包含unlearning数据点的分片上训练的子模型，而不是整个模型。SISA相比于整体再训练，在unlearning效率上有显著提升。
2、基于会话的推荐中unlearning的挑战
（1）精确unlearning很难实现。在基于会话的推荐中，交互项之间存在大量的协同相关性和顺序连接。因此，简单地去除unlearning样本并不能达到准确的unlearning效果，即仍可以从会话中剩余的项目中推断被“遗忘”的项目。
（2）现有的推荐unlearning方法没有对unlearning的效果进行评估，即在多大程度上去除unlearning样本的影响。
3、项目级unlearning
出于隐私考虑或推荐性能，可能会出现一个unlearning的请求，以去除某些训练样本的影响。举例来说，用户可能希望在交互会话中撤销某些错误点击，因为这些错误点击可能会降低推荐质量，或者用户也可能出于隐私考虑请求隐藏某些敏感项目的点击。在本文中，我们重点研究了基于会话的推荐中的项目级Unlearning问题。
除了项目层面的unlearning之外，还可能存在会话层面的unlearning要求，即去除整个交互会话的影响。
本文贡献
（1）据我们所知，SRU是第一个尝试，旨在解决基于会话的推荐中的machine unlearning问题。我们提出了三种额外的数据删除策略来提高unleaning的有效性，同时，我们使用基于相似度的聚类和基于注意力的聚合来保持较高的推荐性能。（解决第一个挑战）
（2）我们提出了一个评估指标来验证基于会话的推荐的unlearning有效性。其核心思想是，如果unlearning是有效的，那么在数据删除后，unlearning的样本被推断的概率较低。（解决第二个挑战）
（3）我们在三个最新的基于会话的推荐模型和三个基准数据集上进行了广泛的实验，以表明SRU可以在保持高推荐性能的同时实现高效有效的unlearning。
SRU框架
图1 SRU框架图
SRU由会话划分、注意力聚合和数据删除组成。会话划分模块旨在将训练会话划分成互不相交的数据分片，然后在每个分片上训练子模型。基于来自不同子模型的隐藏状态，注意力聚合模块将隐藏状态进行融合，以实现最终的预测。数据删除模块旨在提高unlearning的有效性。当出现项目级的unlearning请求时，数据删除模块首先对相应会话应用额外的数据删除策略。然后只对子模型和聚合模块进行再训练，实现了高效的unlearning。
1、会话划分
在会话划分模块中，相似的会话被期望划分到相同的数据分片中，从而可以在一个子模型中进行训练。这样的划分策略可以帮助提高推荐性能，因为它可以在每个分片中实现更多的知识转移。
这里采用平衡划分会话：
在D上预训练一个额外的基于会话的推荐模型Mp ( e.g. GRU4Rec )，以获得所有训练会话的隐藏状态。然后采用基于预训练隐状态的k - means聚类方法对训练集进行划分。会话划分模块的输入包括预训练的隐状态、划分分片数K和每个分片中的最大会话数δ。
（1）随机选取K个会话作为质心；
（2）计算会话与质心之间的距离，会话对之间的距离定义为它们隐藏状态的欧氏距离。；
（3）会话按照距离的升序依次分配给分片。如果某个分片不可用(也就是说,分片内的会话数大于δ)，则下一个会话被分配到最近的可用分片。
（4）计算所有会话的隐藏状态在每个对应的分片中的平均值作为新的质心。
（5）重复上述过程，直到质心不再更新。
（6）在数据分片上分别训练子模型。
2、注意力聚合
注意力聚合模块旨在融合来自每个子模型的隐藏状态以进行最终的预测，它由投影层、注意力层和输出层组成。
2.1 投影层
由于子模型是分开训练的，因此隐表示可以嵌入到不同的向量空间中。为了利用每个子模型的知识，我们需要将隐表示投影到一个公共的空间中。使用线性传输层来进行投影。
2.2 注意力层
注意力应该基于会话和数据质心(也就是说,注意力层应该有两个输入源分别对应会话表示和质心表示,如图1所示)之间的相关性。
基于注意力得分，一个会话的最终表示形式为：
2.3 输出层
基于最终的聚合隐表示hf，使用带有ReLU激活的两层前馈网络来产生候选项上的输出分布。注意力聚合模块使用输出分布上的交叉熵损失进行训练。
3、数据删除
问题：对于一个项目级的unlearning请求，传统的unlearning方法只是删除了unlearning的样本，但由于存在顺序连接和协作相关性，仍然有可能从会话中的剩余交互中再次推断删除的样本。
方法：提出了三种策略，即Collaborative Extra Deletion( CED，协同额外删除 )，Neighbor Extra Deletion( NED，邻居额外删除 )和Random Extra Deletion( RED，随机额外删除 )。
（1）CED：根据unlearning项与会话中其他项的相似度删除额外项。给定会话Si中的目标unlearning项目vi，根据从预训练模型Mp中获得的项目嵌入之间的欧氏距离计算项目相似度。之后，将会话中的项按照距离的升序排列，并从会话中删除最相似的N个项。最后，对相应的子模型和聚合模块进行再训练。
（2）NED：对于顺序连接，提出NED，按照时间顺序去掉unlearning项前面N个最近的项。
（3）RED：RED中，我们在会话内随机选择N个额外的项进行删除。
4、Unlearning效果评价
我们定义一个unlearning有效性评价指标为命中率(即HIT @ K)，该指标根据未unlearning模型Mu在会话中的剩余交互来衡量unlearning项是否会出现在top - K推荐列表中。这样的评估指标也可以看作是成员推断攻击的表现，它试图从剩余的数据中推断unlearning的项目。如果HIT @ K较高，则表示unlearning过的项目被重新推荐或被再次推断的概率较高。相反，较低的HIT @ K意味着unlearning模型Mu对项目的unlearning程度足够好，达到了较好的unlearning效果。
实验
1、实验设置
（1）实验在三个公开的数据集上进行：Amazon Beauty、Games和Steam。
（2）我们采用交叉验证来评估所提出方法的性能。为了评估推荐性能，我们采用了两种常用的top - K度量：Recall @ K和NDCG @ K。Recall @ K度量了真实项目是否位于推荐列表的top - K位置。NDCG @ K是一个加权度量，它为排名靠前的位置分配更高的分数。
（3）基线：SRU使用三个具有代表性的基于会话的推荐模型来实现：GRU4Rec，SASRec和BERT4Rec 。
（4）默认的数据分片数设为K = 8。
2、SRU在不同的基于会话的推荐模型中的推荐性能如何?
表2展示了当每个分片中10 %的随机会话需要unlearning的项目时，不同unlearning方法的top - K推荐性能。即使SRU删除了更多的训练数据，所提出的SRU总是比SISA表现更好。这是因为当训练数据被“遗忘”时，由于训练数据较小，所有子模型的性能都有所下降，而SRU将相似的会话进行分片分组，使得模型共享更多的协作信息，从而获得更好的推荐性能。Retrain总是获得最高的分数，因为它可以在所有剩余的数据上Retrain整个模型，但牺牲了效率。
表3展示了具有完整训练数据的推荐性能。Retrain模型取得了最好的成绩。与SISA相比，我们可以看到所提出的SRU总是获得更好的推荐性能。例如，在Steam数据集上训练的BERT4Rec模型上，SRU的NDCG @ 10为0.0575，而SISA的NDCG @ 10为0.0492，提升了16.9 %。观察证明了会话划分和SRU注意力聚合的有效性。
3、Unlearning效果
表4展示了在Beauty和Steam数据集上的unlearning有效性对比。
4、Unlearning效率
表5展示了Retrain和SRU的训练时间对比。
未来工作
1、研究会话级别的unlearning。在实际推荐场景中，需要同时考虑会话级和项目级的Unlearning。
2、扩展精确删除策略，以提高准确性和完全消除学习。
3、unlearning效果、推荐性能和unlearning效率之间的权衡。
3448
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
