阅读笔记[3]Revisiting Adversarially Learned Injection Attacks AgainstRecommender Systems

摘要

推荐系统在现代信息和电子商务应用中发挥着重要的作用。虽然越来越多的研究致力于提高建议的相关性和多样性，但最先进的推荐模型的潜在风险探索不足，也就是说，这些模型可能会受到来自恶意第三方的攻击，通过注入虚假的用户交互来实现其目的。本文重新讨论了反向学习的注入攻击问题，即注入的假用户“行为”由攻击者用自己的模型在局部学习——该模型可能与被攻击的模型不同，但具有相似的属性，允许攻击转移。我们发现，现有文献中的大多数作品都有两个主要的局限性：（1）他们不能精确地解决优化问题，使攻击的危害更小，（2）他们假设完美的攻击知识，导致缺乏对现实攻击能力的理解。我们证明了生成假用户作为一个优化问题的精确解决方案可能会导致更大的影响。我们在真实数据集上的实验揭示了攻击的重要特性，包括攻击的可转移性及其局限性。这些发现可以激发有用的防御方法来对抗这种可能的现有攻击。

1介绍

良好的推荐系统是用户信息寻求体验的关键因素，因为它能够实现更好的内容发现和更准确的信息检索。在过去的十年里，大多数的工作都旨在提高推荐模型的效用/准确性。许多方法已经发展起来，如基于邻域的方法[38]，基于因子分解的方法[23,37]，以及最近的深度神经网络(a.k.a深度学习)模型[9,19]。然而，由于依赖于用户贡献的判断和主观评级数据[6]，推荐系统可能会被滥用和恶意攻击。一旦发生这种情况，推荐系统的可信度将受到很大影响，这可能导致重大的经济损失。

1.1针对推荐人系统的注入攻击

在这项工作中，我们专注于注入攻击(a.k.a.数据中毒攻击)，如图1所示，其中攻击方了解推荐系统使用的数据（例如，通过爬行公开可用的数据），并创建虚假的用户档案（例如，点击），以影响具有恶意目标的推荐方。假设这些关于数据的了解是合理的，例如：用户对亚马逊产品的评分和评论是公开的1，这是个性化的产品推荐；用户在推特上的社会关系（关注者和追随者）是公开的，影响好友推荐；用户对问题的答案和对答案的投票在Quora上是公开的，这构成了个性化订阅。只要有足够的激励措施，恶意方就不会无法获得来自某些平台的数据集的可用性。据报道，某些产品的用户评分每增加一星，产品销售商的收入就会增加5%到9%。因此，恶意注入攻击很容易动机，对公司的底线产生巨大的后果。

在文献中，早期关于对推荐系统执行注入攻击的研究都是受到了启发式方法的启发。为了提高某些项目(s)的可用性，Lam和Riedl[25]提议对目标项目给予高评级，对其他随机项目给予平均评级；Burke等人[5]进一步考虑使用流行物品而不是随机项目，以确保假用户可以拥有更多的社区，从而产生更大的影响。然而，由于这些攻击是启发式地创建的，因此注入攻击的威胁可能没有完全实现。首先，虚假用户生成彼此之间高度相关，有时甚至自形成簇[6]，使它们很容易被标准技术[28]检测到。更重要的是，启发式方法严重依赖于背景知识，因此，为一种恶意目的设计的方法很难用于另一种恶意目的。最后，启发式方法并没有直接优化对抗性目标，这限制了它们的可用性和威胁。

最近，我们见证了通过对抗机器学习优化的对抗攻击的巨大影响，无论模型类型和任务[29]：在网络搜索中，对手可以改变网络内容以获得高搜索引擎排名[7]；在众包中，对手可以为利润[30]提供无用的答案；在社交网络中，对手可以修改期望节点属性[43]修改节点关系；在图像识别中，对手可以对图像像素进行干扰，并获得想要的识别结。

尽管对抗性学习在其他领域也取得了成功，但关于采用对抗性学习来攻击推荐系统的研究却非常稀少。在安全军备竞赛中，对攻击的了解有限，会导致现有系统的更危险状态。在这项工作中，我们的目标是通过调查使用对抗性学习来攻击推荐系统的挑战和局限性来重新审视这个方向。在接下来的两部分中，我们将有与对手相同的观点来了解如何执行攻击。在定义了第2节中的威胁模型后，我们发现现有的工作并没有正确地解决问题，导致攻击的威力减弱。在第3节中，我们提出了一个更精确但效率更低的解决方案来产生攻击，并伴随着两个有效的近似值的解。在第4节中，我们探讨了攻击对真实世界数据集的影响，并识别了其弱点，并找到了此类攻击的线索。我们希望这些发现可以帮助我们更好地理解攻击，从而发展防御技术。

2背景

在本节中，我们首先介绍了推荐任务的基本基础知识，并定义了威胁模型。还将介绍一些符号，以方便演示。然后，我们简要回顾现有的解决方案及其局限性，这鼓励我们在下一节中提出更精确的方法。

2.1建议目标

系统被充分攻击的目标是推荐相关项目，以满足用户的需求。在这样的系统中，有一组用户U={u1，u2，..，u|U|}，一组项目I={i1，i2，..，i|I|}（例如，产品、视频、场所等），以及反馈/交互数据（例如，用户购买了一个产品，观看了一个视频，在一个场所签到）。用户在系统中留下的反馈可以有不同的类型。它可以是明确的（即用户明确地显示她/他喜欢一个项目，如给五星评级）或隐式（即，信号隐式地反映用户的积极偏好，如购买产品），但后者比明确的反馈在实际系统[21,32]因此被认为是在这项工作。我们使用X∈{0,1}|U|×|I|来表示二值化的隐式数据，1表示正反馈，0表示未知条目。基于用户历史数据的推荐模型可以对R∈R|U|×|I|进行预测。推荐模型的学习目标是为每个用户的相关项目提供最高的预测相关性得分。

2.2威胁模型

威胁模型如图1所示。要攻击系统中部署的目标推荐者(a.k.a.受害者模型)，攻击者将使用他们自己的本地模型(a.k.a.代理模型)，制作虚假用户，并将其注入受害者模型的原始训练数据中。下面，我们将从几个角度详细阐述这个威胁模型。

图1：针对推荐模型的注入攻击的威胁模型的说明。这假设攻击者可用，但目标模型未知。为了实现他们的恶意目标，例如，影响某些项目(s)被推荐的可用性，攻击者将使用代理模型在本地制作虚假的用户配置文件，并在训练之前将它们注入到目标推荐者中。

攻击者的目标。

对手的目标可以是非有针对性的，旨在通过强迫推荐模型提出错误的建议来阻碍推荐模型的有效性，也可以是有针对性的，即对手希望增加或减少被推荐的目标项目的可用性。与文献中的其他作品类似，我们主要关注目标攻击，这是推荐上下文下最常见的情况：攻击者想要影响正常用户的利润推荐。特别是针对目标攻击，我们考虑了促进（或推送）攻击：给定一个目标项目，攻击者的目标是增加其被模型推荐的机会。另一种情况是，有核武器攻击，攻击者的目标是“核武器”一个目标物品，使其无法得到推荐。虽然我们在这项工作中没有明确地讨论核攻击，但也可以使用类似的技术。

攻击者的知识。

我们假设攻击者对用于训练目标（受害者）推荐模型的数据集有（全部或部分）知识。因为用户的反馈在许多系统中都是公开的（例如，在推特上的关注者和关注者），这是对最坏情况攻击的合理假设。任何关于受害者模型的知识（例如，模型参数，模型类型等）都是可选的，因为攻击者可以首先用假用户攻击他们自己的本地（代理）模型，希望这些假用户也可以被用来攻击目标（受害者）模型。如果两个模型共享相似的属性[33]，那么这种攻击转移是可能的。

攻击者的能力。

如图1所示，攻击者将通过一个代理模型学习假用户，并将他们的评级配置文件注入到受害者模型的训练集中。在目标模型消耗这些虚假用户后，攻击者将达到其恶意目标。这表明攻击发生在受害者模型的训练时间，而不是测试时间。后者被称为逃避攻击，在对抗学习[17,24,33,34]中更被研究。而在建议中，测试时间攻击要求攻击者侵入其他正常用户的账户并改变他们的偏好，这是一个网络安全问题，超出了我们的工作范围。另一方面，允许对手创建虚假用户，并让他们被受害者模型消耗（训练）是一个更实际的攻击场景。

2.3对抗性注入攻击：一个双级优化问题(重点)

与启发式方法[5,25]不同，本文考虑的注入攻击直接将假用户行为作为优化问题学习。回想一下，攻击方将学习假用户攻击他们自己的代理模型作为第一步。给定一个训练有素的不受攻击的代理模型和一组假用户V={v1，v2，..，v|V|}，将学习假数据Xb∈{0,1}|V|×|I|来优化一个对抗性目标函数Ladv

其中，θ为一组代理模型的参数，Rθ为代理模型对正常用户的预测参数为θ，Ltrain为代理模型的训练目标。如图所示，有一个优化问题(即，等式（2），称为内部目标)嵌入（嵌套）在另一个(即等式中（1），称为外部目标)，这形成了一个双级优化问题[12]。在机器学习中，考虑了超参数优化[8,16]、少镜头学习和元学习[15,18,36]的双级优化。由于在第2.2节中引入的威胁模型的定义，我们将学习到的注入攻击表述为一个双级优化问题，尽管我们发现这个公式在文献中没有得到明确的讨论。内部目标3表明，在注入假数据Xb后，代理模型首先消耗它们（即用中毒数据集从头训练），然后得到训练后的模型参数θ∗。外部目标表明，在虚假数据被消耗后，我们可以实现恶意目标定义在普通用户的预测上的Rθ∗。请注意，不同的对抗性目标可以用于不同的恶意目的。在本文中，我们关注于将目标项目k推广给所有正常用户，所以一个典型的对抗性目标可以是交叉熵损失： 

如果正常用户对目标项目k的预测大于其他项目，则将目标最小化，从而实现提升目标项目的恶意目标。

为了求解方程式中的双级优化问题。（1）到（2），可以尝试每一种可能的X，获得相关的θ∗并评估Ladv(Rθ∗)。但是搜索空间呈指数级，如2|V|×|I|。因此，这种蛮力的方法很难在有限的资源下使用。一种计算效率更高的方法是使用基于梯度的方法，如梯度下降，用梯度∇XbLadv迭代更新假数据X，我们在算法1中正式提出。在每次更新t∈{1，...，T}来更新假数据时，我们首先通过对L次迭代进行参数更新来重新训练代理模型（第7行）。然后，我们用投影梯度下降(PGD)更新假数据（第10行），以ProjΛ（·）作为投影算子，将假数据投影到可行集(在我们的例子中，xˆvi∈{0,1})。后最后迭代T假数据bX(T)学会最小化Ladv，他们能够攻击代理模型，我们希望他们也可以攻击目标（受害者）模型以类似的方式：一旦训练中毒数据集，它将导致一个小的对抗性损失Ladv。

2.4现有研究的局限性和我们的贡献

文献中有一些研究[11,13,14,26]试图将注入攻击视为一个优化问题，并学习假数据。然而，我们发现在现有的工作中存在两个主要的局限性。在下面，我们将说明这些局限性，以及我们在这项工作中的贡献。

在梯度计算中缺乏精确性。

从算法1中可以看出，求解了替代模型训练的内部目标 是简单而传统的，而挑战来自于获得对抗性梯度∇bXLadv来更新假数据。在文献中，现有的作品要么试图估计这个梯度[11]，要么试图直接计算其[13,14,26]。但在方程式中的问题公式下。从（1）到（2），它们都缺乏梯度计算的精确性。更具体地说，通过应用链式规则，精确的对抗性梯度可以写成：

 第一部分(偏导数∂Ladv/∂bX)假设X独立于其他变量，而第二部分认为θ∗也可以是一个包含bX的函数。在所有现有的研究[11,13,14,26]中，我们发现了等式（4）的第二部分已经完全被忽略了。这说明最终的代理模型参数θ∗独立于假数据bX，但它显然是不正确的。在第3节中，我们展示了第一部分在许多替代模型中不存在，当它存在时，第二部分对总梯度也有很大的贡献。这表明梯度∇bXLadv及其偏导数的近似是很大程度上有偏倚的，因此可能导致次优解。

我们的贡献。

在第3节中，我们提出了在等式中精确对抗梯度的计算（4）和展示了两种有效的方法来近似这个梯度。在一个合成的和一个真实的数据集上，我们通过经验证明了这两种方法的有效性和只计算近似的偏导数的不良结果，如在现有的工作[11,13,14,26]中使用的那样。

缺乏重要的实验研究。

在以往所有实验研究[11,13,14,26]的另一个主要限制是，目标模型被设置为与代理模型相同，这被称为“白盒攻击”。有人可能会认为这是一个极端的情况，其中目标模型是可见的，这可以作为攻击能力的上限。我们的分析表明，这种攻击可能不会转移到目标模型与代理模型不同的现实情况下。知道了这一点，攻击者将通过使用可传输到不同目标模型的代理模型来学习虚假的用户数据来设计更有效的攻击。最终的目标是防御攻击，这需要考虑更多实际的设置，了解攻击的特点和局限性，以激发更好的防御策略。

我们的贡献。在第4节中，我们利用用户-场地检查数据集来研究从一个代理模型构建的攻击如何转移到另一个目标模型，并检查影响可转移性的关键因素。更重要的是，我们分析了这种反向学习的注入攻击的局限性，这可以激发有用的防御技术。

3.解决双级优化问题

在本节中，我们将重点关注算法1的第9行，并描述如何计算等式中的对抗性梯度（4）精确地（在第3.1节中），并提供了两个近似解（在第3.2节和第3.3节中）。首先，我们将使用加权正则化矩阵分解(WRMF)[21,32]，一个基本的、具有代表性的隐式反馈推荐模型，作为代理模型的一个例子，并演示如何计算精确的对抗性梯度。然而，精确的梯度计算既不效率，也没有资源效率。因此，我们引入了两种正交的方法来近似梯度计算，以实现有效性和效率之间的良好平衡。在一个合成的玩具数据集上，我们通过经验来评估近似解有多好。

在详细介绍之前，我们将简要介绍本节中使用的WRMF模型和玩具数据集。在WRMF中，一组用户潜在因素P∈R|U|×K和项目潜在因素Q∈R|I|×K用于预测R=PQ⊤对正常数据X。当注入假数据bX时，让F∈R|V|×K表示用户潜在因素，Rb=FQ⊤表示对假用户的预测。在此公式下，θ={P、Q、F}和替代训练目标为：（WRMF (weighted regularized matrix factorization)。该方法对每个训练样本都加一个权重，来表征用户对物品偏好的置信度。这个权重通常使用隐式反馈行为的次数或者一些量化指标的转换，比如浏览次数或观看时间等。权重可以减少未知样本的影响力，这些未知样本的权重一般的比观测样本的权重小的多.）

其中，wui和wvi分别是区分正常和假数据的实例权重(例如，xui=1时，wui=2，wui=1，xui=0时，wvi相似)，λ是控制模型复杂度的超参数。

合成数据。

为了便于我们理解计算对抗性梯度的精确和近似解，我们合成了一个更可控的玩具数据集。具体来说，每个数据点X都是由x=µν⊤生成的，其中ν∈Rd和µ∈Rd都是从Nd(0，I)中采样，使用d<<min(|U|，|V|)。通过为∀x∈X生成数据点，合成的数据集可能具有低秩，类似于其他真实世界的推荐数据集。最后，我们通过设置一个阈值ϵ，将X进行二值化，将其转换为隐式反馈数据。通过控制(|U|，|V|，d，ϵ)的值，我们可以拥有具有不同的秩和稀疏度水平的任意大小的合成数据集。

3.1确切的解决方案

在本小节中，当使用WRMF作为替代模型时，我们计算精确的对抗性梯度∇bXLadv。值得注意的是，WRMF对正常用户R=PQ⊤的预测并不直接依赖于假数据bX，因此Ladv(R)是不可区分的w.r.t.Xb或等价地，我们可以指定∂Ladv∂Xb=0。事实上，这对于大多数基于嵌入的推荐模型[19,20,37]是一种常见的情况，其中数据(X和bX)只用于计算训练目标（作为标签），而不涉及计算预测(R和Rb)。

在不丧失一般性的情况下，我们假设内部目标只优化了一次(即L=1)，那么θ（1）={P（1），Q（1），F（1）}是对抗目标Ladv(Rθ（1）)=Ladv(P（1）·Q（1）)中使用的最终参数集。另外，我们还可以表示θ（1）=opt（θ（0），∇θLtrain），这里的opt（，）表示从θ(l−1)到θ(l)的过渡函数。如在算法1中，在随机梯度下降的背景下(SGD)，这将成为:

 现在，我们可以通过使用链式规则，当使用WRMF和T=1时，很容易地计算出对抗性梯度∇XLadv：

同样地，当T>为1时，我们只需要累积梯度：

在上面的求和中，得到∂θ(l)∂bX是一种平凡的方法，如等式所示（6），而∂Ladv∂θ(l)可以按顺序完成。也就是说，在有了∂Ladv∂θ(l+1)后，我们可以获得∂Ladv∂θ(l) 

 

在图2a中，我们展示了计算对抗性梯度∇bXLadv的过程的总体计算图。请注意，这个过程适用于大多数基于嵌入的推荐模型，而不局限于WRMF，如果它们的内部目标也通过SGD(或SGD的变体，如Adam[22])进行了优化。值得一提的是，尽管在等式中显示了差异（6）和等式（8）包含了黑森矩阵的计算，自动微分[18]为我们提供了一种方便的求解方法。

 图2a：用代理模型进行单一计算的对抗性目标Ladv的(a)计算图。我们使用实心黑色箭头表示正向计算流，并使用虚线红色箭头表示从Ladv到Xb的梯度反向传播流。

为了研究上述精确解下攻击的有效性，我们在合成数据集上设计了一个概念验证实验，在白盒攻击设置下使用WRMF作为代理模型来学习假用户数据。

设置。

基于我们前面描述的合成数据生成方法，我们创建了一个包含900个正常普通用户、100个假用户和300个项目的玩具数据集。即|U|=900、|V|=100、|I|=300。在生成数据时，我们将其“秩”设置为20，二值化阈值ϵ设置为5，在此设置下，数据稀疏度为88%。我们使用的模型是WRMF，潜在维数K=16，其训练目标在等式 (5).在实例权重方面，我们根据经验设置了当xui=1时的wui=20，以及当xui=0时为=1时的wui=20，因为这给出了最佳的推荐性能。同样的重量也适用于wvi。最后，用Adam对100次迭代的代理模型（即内部目标）进行优化(L=100)，并对假数据（即外部目标）进行50次迭代的优化(T=50)。 

实施细节。回想一下，在用精确的对抗性梯度更新假数据后，我们必须将它们投影到可行的区域(即xˆvi∈{0,1})。要实现这一点，最直接的方法是使用一个阈值：

根据经验，我们可以应用网格搜索ρ的值，以获得更大的攻击影响。在我们的实验中，我们使用了ρ=0.2。

结果首先，为了评估代理模型的性能以及学习到的注入攻击的性能，我们使用截断为10的命中率(HR@10)作为度量。为了评估代理模型的推荐性能，我们为每个用户随机保留1个交互项目（记为测试项目），测量该测试项目的HR@10，并对所有正常用户取平均值。为了评估攻击性能，我们使用相同的策略，但在目标项目上测量HR@10。图3显示了我们所关心的两种性能的结果。从图3(a)中，我们可以看到，当使用WRMF作为替代模型及其精确的对抗性梯度来解决方程式中的双级优化问题时。从（1）到（2），对抗性目标Ladv通过迭代成功地最小化。从图3(b)中，我们注意到攻击性能(即HR@10)随着Ladv也在提高。更有趣的是，我们发现该攻击对WRMF的推荐性能并没有太大的变化(即，在测试项目上的HR@10)。

通过上述实验，我们说明了当（1）使用WRMF和Adam作为替代模型，而（2）使用内部目标中所有迭代l∈{1，..，L}累积的精确对抗梯度时，学习到的注入攻击的有效性 最优化理想情况下，我们可以用其他类型的代理模型（或多个模型的集合）来替代WRMF，以实现针对大多数受害者模型的最佳攻击性能。这种有效的方法已经在其他领域[31]尝试过，但对于推荐系统的注入攻击仍未得到充分探索。

然而，该方法在时间和空间上复杂性高复杂性有很大的缺点。最初，在优化内部目标时，我们执行正向和反向传播来更新代理模型参数θ，并且我们只保留这些参数的最新值。而如果我们想计算精确的梯度(如图2a所示)，我们需要存储每个单一迭代l∈{1，..，L}的参数值θ(l)。因此，空间复杂度随总迭代次数l呈线性增长。也就是说，如果代理模型大小为|θ|=m，则需要总的O(Lm)空间。至于时间复杂度，我们需要额外的时间来计算每个l∈{1，..，L}的∂θ(l+1)∂θ(l)和∂θ(l)∂bX。根据反向算法微分[3]，这两种计算的时间复杂度与模型大小m成正比。因此，时间复杂度也随L线性增长，并且需要一个额外的O(Lm)时间来积累所有的梯度，对于一次单一的更新假数据。因此，当有一个针对多次迭代进行优化的大型代理模型时，计算精确的梯度∇bXLadv是不切实际的，这在现实世界的推荐场景中是非常常见的。这就是为什么在接下来，我们展示了精确梯度∇XbLadv的两个近似值。

3.2近似解决方案i：展开更少的步骤

一个简单的解决方案是，在累积∂Ladv∂θ(l)·∂θ(l)∂bX，∀l∈{L，L−1，...，1}时，展开更少的步骤。当用等式计算精确的梯度时（7），可以从l=l和到l=L−τ，而不是l=1。换句话说，是等式（7）将近似为：

其中，τ∈[1，L]表示展开步骤。这就要求我们只在最后的τ步骤中保留代理模型参数，并且只在最后的τ步骤中反向传播对抗性的梯度。因此，它将时间和空间的复杂度从O(Lm)降低到O(τm)。我们可以根据可用的资源选择展开步骤τ，但理论上，更大的τ会得到更好的近似。

结果在图4(a)中，我们展示了前一小节中相同实验的结果，这次改变了展开步数τ。当τ=100时，我们得到的结果如图3所示。当使用WRMF(使用Adam进行优化)作为代理模型时，当我们如预期的那样展开更多步骤时，我们可以获得更好的攻击性能(通过更高的HR@10或更低的Ladv来衡量)。值得注意的是，即使展开几个步骤（例如，总步骤的%5），我们也可以实现合理的攻击性能，近似因子为0.65(目标项目的HR@10为0.368vs.0.568)。虽然在这个合成数据集上取得了很好的结果，但我们想指出的是，近似因子是不能保证的，并且可以来自不同的数据集和不同的替代模型.

3.3近似解ii：使用特殊的替代模型

通过展开更少的步骤，我们仍然需要额外的时间和空间。在本小节中，我们回顾了现有作品[13,26]所采用的另一种方法，通过其偏导数来近似梯度：

使用这个近似值，我们不需要展开任何步骤（或τ=0），而且它几乎不需要额外的时间或空间。

回想一下，对抗性目标Ladv被定义为对正常数据R的预测的函数(见等式以（3）为例)。在第3.1节中，我们将∂Ladv∂bX=0进行等价，因为当使用基于sgd的方法进行优化时，WRMF的预测不依赖于数据，既不依赖于X或Xb，而只依赖于其参数R=P⊤Q。然而，Li等人的[26]表明，当WRMF用交替最小二乘(ALS，或块坐标下降)进行优化时，其预测是基于数据的明确条件，因此我们可以得到非零的偏导数。简而言之，当ALS训练WRMF收敛时，其对R和Rb的对应预测为：

其中，ri和bri是R和bR的第i列，类似的表示也适用于xi和xbi。保持P和F为不变，我们就可以了

计算所需的偏导数∂Ladv∂bX=∂Ladv∂R·∂R∂bX。Fang等[14]采用类似的想法，表明当使用重启随机游走(RWR)作为替代模型时存在偏导数。然而，这些方法的一个局限性是，用ALS和RWR解决的WRMF都没有得到现有的机器学习库(如TensorFlow[1]或PyTorch[35])的很好的支持，这些库主要是为基于sgd的方法优化的模型设计的。因此，计算所有期望的导数是不平凡的(在等式中都是偏导数（10）和等式中的累积梯度（9）)与自动分化[18]。

在本文中，我们提供了另一个替代模型。认识到其局限性并受到以往工作的启发，我们希望模型预测明确地以数据为条件(换句话说，X和Xb在计算R时应该在计算图上)，并使用基于sgd的方法进行优化。此外，该代理模型由神经网络组成，希望能够更好地将攻击转移到其他深度推荐者身上。所得到的替代模型如图2b所示。与WRMF类似，我们从用户嵌入表中检索用户的潜在表示形式（红色圆圈）。而项目i的项目潜在表示（蓝色圆圈）则是使用以数据xi和bxi作为输入的前馈层来计算的。这使得Ladv成为可微的w.r.t.Xb（红色虚线），因此允许我们有非零的偏导数.

值得注意的是，图2b中所示的模型也可以看作是基于项目的自动编码器(ItemAE)。在连接了第一项的正常和假数据后，即齐+=[+；bxi]之后，ItemAE首先使用由θE参数化的编码器网络E将这个高维输入投影到低维潜在空间=(齐+；θE)，其中齐∈RK是输入齐+的潜在代码（表示）。ItemAE还使用由θD参数化的解码器网络D从其潜在代码+=D(+；θD)重构输入。在[39,42]中，我们对ItemAE的推荐性能进行了研究，但在我们的论文中，我们发现ItemAE也可以帮助我们获得学习注入攻击的期望的偏导数。

结果在图4(b)中，我们可以看到使用ItemAE时的攻击性能，由Adam优化了100次迭代，并使用网络架构(|U|→64→32→64→|U|)作为替代模型4。当仅使用偏导数∂Ladv∂bX来近似∇XbLadv（即，展开步骤τ=0）时，攻击较弱，但我们受益因为没有额外的时间和空间。此外，由于我们讨论的两个近似是相互正交的，我们仍然可以为ItemAE添加一个展开步骤τ>0，以获得更好的攻击性能，如图4(b).所示我们观察到，通过合并一个大的展开步骤τ，与纯粹基于偏导数(PD)相比，获得了显著更好的性能。这表明，通过忽略等式中的第二项，就无法实现注入攻击的潜力 (4).令人惊讶的是，我们发现使用精确的梯度（τ=100）并不能给出最好的攻击性能。我们推测这是因为方程式中的优化问题。（1）到（2）是非凸的，因此当注入温和的噪声时，它可以最小化到一个更好的局部最小值。这是用SGD训练非凸模型时常见的现象，SGD注入噪声但便于训练。

3.4最后.

我们通过提供一个简短的总结来完成这一节。利用基于梯度的方法解决双级优化问题，关键是在等式中获得对抗性梯度∇XbLadv（4），它由一个偏导数项∂Ladv∂Xb和替代模型参数θ上的累积梯度组成。精确梯度的计算需要较高的时间和空间复杂度。但是，我们既可以使用偏导数来近似梯度（需要特殊的替代模型），也可以在累积梯度时展开更少的步骤。现有的工作[11,13,14,26]只考虑了第一种近似方法，使攻击比它可能的更弱。在安全军备竞赛的背景下，低估对手是危险的。这是这次重访研究的主要动机之一。

 4.对真实数据集进行实证研究，本节的实验分为两部分。

首先，我们分析了从代理模型（在第3节中介绍）到不同类型的受害者推荐者的攻击可移植性。接下来，我们的目标是识别这种反向学习的注入攻击的局限性。源代码和处理过的数据集可以在网上公开获得5。

4.1设置数据集。对于真实世界的数据集，我们使用Cho等人[10]构建的Gowalla6，包含通过用户场所的隐式反馈报到处它在[2,41]的[2,41]中被广泛用于兴趣点推荐。在[41]之后，我们通过删除冷启动用户和反馈少于15个的项目来处理原始数据。处理后的数据集包含13.1k个用户，14.0k个场地（项目），其稀疏性为99.71%。我们为测试集随机保留20%的数据，并使用剩余的数据作为训练集。由于有超过一个测试项目，我们使用召回率@50，而不是命中率，来衡量推荐性能。

评估协议。

4.2攻击转移性分析

在本小节中，我们旨在探讨影响攻击从一个代理模型转移到其他受害者模型的关键因素。对于攻击方法，我们使用第3节中描述的方法。即，所比较的方法有：为了对黑盒设置下的攻击可转移性进行公平的研究，每种攻击方法都产生了固定数量的假用户(占真实用户的1%即|V|=0.01|U|=131)，对代理模型的攻击影响最大。然后，我们将每个假数据与正常数据结合起来，让不同的受害者模型从头开始用结合后的毒药数据进行训练。对于对Gowalla的攻击性能，我们随机抽取5个项目作为目标项目集，并测量目标项目集上的HR@50（如果其中一个项目出现在排名列表中，则被视为命中）。如果涉及到更多的目标项，攻击性能将更加显著和稳定。

•RandFilter：由Lam和Riedl[25]提出的一种基本的攻击方法。虽然最初的版本是针对显式评级的，但我们对隐式反馈数据采用了这种方法，让每个假用户点击目标项目（集）和其他一些随机选择的项目（称为过滤项目）。该方法可作为一个启发式的基线。

•WRMF+ALS：使用WRMF优化与ALS作为替代模型来制作虚假用户。与[13,26]相同，只使用偏导数作为对抗性梯度。

•WRMF+SGD：在第3.1节中提出，该方法使用以Adam优化的WRMF作为替代模型。当累积对抗梯度时，我们通过展开总训练步骤的10%来近似精确的对抗梯度。

•ItemAE: 在第3.3节中提出，该方法使用基于项目的自动编码器优化与Adam作为替代模型。ItemAE的特殊设计允许我们得到非零的偏导数。因此，当累积对抗性梯度时，我们可以展开0个步骤（仅使用偏导数）或总训练步骤的10%。

对于受害者模型，我们仔细选择以下常用的推荐者：

NCF[19]神经协同过滤(NCF)是一个流行的框架，它探索了在复杂的用户-项目交互建模中的非线性。我们采用NeuMF作为NCF的实例化

Mult-VAE具有多项式似然的VAE[27]变分自编码器(Mult-VAE)是一种最先进的隐式反馈推荐模型。它利用VAE来学习健壮的用户表示，并显示出比其他基于因子分解的方法更好的性能。

•CML[20]协同度量学习(CML)最小化相关用户项对潜在空间的欧氏距离，增加不相关对的欧氏距离。本文采用得分函数的差异(即CML的欧氏距离与WRMF和ItemAE的点积)是否会影响攻击转移。

•ItemCF[38]据推测，上述所有受害者模型都是基于用户/项目嵌入，这是我们的代理模型共享的类似属性。因此，我们选择了基于项的协同过滤(ItemCF)，这是一种经典的基于邻居的方法，看看攻击是否可以转移到具有不同模型类型的受害者模型中。

为了提高再现性，在表1中，我们报告了推荐性能（无攻击）和本节中使用的每个模型的配置。请注意，我们并没有详尽地调整每个模型，而是粗略地对超参数进行网格搜索，直到达到合理的推荐性能，因为比较推荐性能并不是我们的主要重点。除了上述的受害者模型外，我们还测量了当受害者模型与代理模型(即WRMF和ItemAE)相同时的攻击性能。

图5显示了每种方法在黑箱设置下的攻击性能的结果。抽样的项目被限制为流行的项目，因此在攻击发生前有一个相对较高的HR@50。如预期的那样，当选择WRMF和ItemAE作为受害者模型时，当使用相同的模型(即WRMF+SGD和ItemAE)作为替代模型时，它们受到的影响最大。对于启发式方法随机滤波器，它有时可以实现恶意目标，但在不同的受害者模型之间给出不稳定的攻击性能。WRMF+SGD产生的攻击可以很好地转移到所有其他模型，但在大多数情况下使用WRMF+ALS的结果要糟糕得多，这在现有工作中被采用。对于ItemAE，展开更多的步骤比只使用偏导数(ItemAE(PD))不能提供更好的攻击性能，也不能提供更好的攻击可转移性。此外，当受害者模型为Mult-VAE时，ItemAE(PD)表现出显著的攻击影响，两种模型的共同结构可能是原因。最后，我们发现了在得分函数上的差异(即，CML中的欧氏距离与我们的替代模型中的点积相比)对攻击的影响不太大。这一发现表明，在潜在空间上，注入的假用户实际上将目标项目“拉”向正常用户，这样余弦距离（从点积）和欧氏距离都变小。但是，受害者模型(即使用ItemCF作为受害者模型)的选择差异会大大恶化攻击的影响，但使用WRMF+SGD生成攻击的情况除外。

4.3攻击的限制

如前所述，只知道攻击的严重程度并不总是有用的。在本小节中，我们将讨论我们从提出的注入攻击中确定的两个主要限制，目的是为进一步理解这种类型的攻击并启发防御技术提供见解。

对冷物品效果较差。

请注意，在上一小节中，我们只展示了对一组随机抽样的流行项目的攻击有效性。在表2中，我们给出了WRMF+SGD攻击对各种受害者模型的结果，但这次对目标项目集进行了采样，以获得不同的流行程度。我们将头部项目定义为总点击量（#点击量）超过95百分位的项目。类似的定义也适用于上半身（75百分位<#点击<95百分位），下半身（75百分位<#点击<50百分位）和尾巴（#点击<50百分位）。从表2中，我们可以看到来自WRMF+SGD的攻击，虽然仍然提高了目标项目集，但对于受欢迎程度较低的目标项目效果较差。换句话说，那些冷酷的项目更难得到推广。这可能是因为冷的物品在潜在空间上远离普通用户，从而给攻击带来了更多的困难。

学习到的虚假用户是可检测到的。

接下来，我们的目标是发现是否有任何关于学习到的虚假用户的线索。当目标项目是头部项目时，我们首先看看那些学习的假用户点击的项目，根据被点击的项目的流行程度和相应的密度。图5b给出了随机滤波器和WRMF+SGD攻击的结果。作为参考，我们还绘制了一个包含500个正常用户的子样本。从图中，我们可以看到来自随机过滤器攻击的点击项目具有完全随机的受欢迎程度，正如预期的那样。但WRMF+SGD攻击的假用户分布与正常用户之间的差异很小（标记为正常用户），说明从分布差异中识别假数据存在困难。然后，我们在PCA的帮助下从潜在空间中寻找线索。在图5c中，我们在WRMF和MultVAE的潜在空间中绘制了来自RandFilter和WRMF+SGD攻击的假用户。从图5c的第一行，我们验证了[6]中的主张，即使用启发式方法（这里的随机过滤器）生成的假用户可以在潜在空间中自形成簇。值得注意的是，那些来自于WRMF+SGD攻击，虽然不是在WRMF的潜在空间中形成簇，但在MultVAE的潜在空间中存在可疑。这表明学习到的假用户可能仍然在某些潜在空间中自我形成集群，一旦我们能够识别出一些假用户，他们在潜在空间中的邻居也会被怀疑。

5结论

本文重新讨论了针对推荐系统的反向学习注入攻击问题。通过将攻击问题建模为双层优化问题，指出了现有解决解中的问题，提出了解决问题的精确解，并验证了其在合成数据集上的有效性。由于精确解既不省时也不省资源，因此我们还引入了两种方法来近似精确解。在一个真实世界的数据集上，我们进行了广泛的实验来评估攻击的可转移性和局限性，希望这些实证分析能够在未来激发有效的防御策略。