As a reader -- Online Anomaly Detection under Adversarial Impact.

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

开学第二周，恢复每周读文献，做毕设的日子。本篇文章为如何测量数据投毒投机提供一点思路。

---

摘要：随着对抗性攻击的发展，ML算法安全性分析越来越重要。目前，一些安全加固算法已经被提出并应用于某些有监督学习的领域当中，但在NIDS方面的工作和研究尚少。本文提出了一种新方法，用以分析在线质心异常检测在存在数据投毒攻击的情况下的性能，推导出了最佳攻击，分析其效率和某些约束。实验使用真实http数据流，评估并证实了本文理论界限的严密性。

一、Introduction

1.机器学习过程中的假设：被学习的现象是“公正的”

       在现实中，数据总是拥有大量的噪声，且我们无法知道噪声的分布。但机器学习过程中，我们总是假设这些噪声不会阻碍机器学习。可以说，这种假设对于模型的学习是有影响的。
　　本文关注对异常检测领域的算法攻击。在前人的研究中，破坏一个模型通常需要指数级别的数据量，即基于假设：训练集使用了一个无线窗口。但这种假设也是不现实的，因为异常检测系统需要拥有调整数据非平稳性的能力，因此不应将所有数据全部存储在模型当中。
　　基于以上的结论，本文对在数据投毒攻击下，使用有限滑动窗口的训练数据的在线质心异常检测系统进行了分析。分析集中于三个方面：
　　1.对于attacker，他的最佳攻击策略是什么？
　　2.attacker使用该策略可以达到什么目标？
　　3.如何对系统增加约束，以限制attacker获益？
　　其中，前两个问题可以用于评估投毒攻击的影响。经过研究发现，一方面，攻击者仅使用线性数量级的数据即可成功进行投毒攻击；另一方面，当对训练数据做出限制时，攻击会变得无限难。

二、Learning and Attack Models

1.Centroid Anomaly Detection 质心异常检测

原理：

当得到的值超过一个固定的阈值r时，x被判定为异常数据。 优点：简单、直接、较为好用。

2.Online Anomaly Detection 在线异常检测

由于NIDS需要处理非平稳数据，所以采用在线学习算法以添加新数据，删除旧数据。
在无线窗口模式下，质心的定义：

可以注意到，随着n↑，新数据的影响力会↓。
而在有限窗口模式下，质心被定义为：

在这里，n为定值。那么，当新样本被加入时，如何确定被删去的旧样本呢？（1）random-out：随机选取一个删去 （2）nearest-out：删去离新样本最近的 （3）average-out：去掉质心。前两个方案需要保存整个训练集，最后一个只需保存当前质心。

3.Poisoning Attack.

原理：

仍能被识别为正常数据。这里假设攻击者已知模型算法和全部训练数据，无法修改已经存在的样本，但可以增加新的样本。这使得攻击者可以嗅探到某一特定主机的数据以发送自己的数据，而无需与主机进行通信。如下图所示，投毒攻击使得质心朝着攻击目标的方向前进，最终导致A被识别为正常数据。

这里给出质心相对位移的定义：

a表示攻击方向向量，定义为：

Di用一个球的半径来度量c在a方向上投影的相对长度。

定理1：给出在无线窗口下，Di的上限：

证明过程同时给出了投毒攻击的最佳攻击策略：

　　同时注意到，随着攻击数据与正常数据分布的分离，颠覆质心学习进程的数据量呈指数增长。
　　总结一下目前对中毒攻击的理解，攻击者需要注入指数数量的训练数据点，以便在期望的方向上实现质心的固定位移。另一方面，为适应数据分布的变化，无限窗口的假设反过来影响了异常检测的能力。因此，我们需要研究所开发的安全策略是否适用于有限窗口情况下的各种更新规则。

三、Poisoning Attack with Full Control over the Training Data

1.Average-out and Random-out Learners.

A-O使用与无限窗口质心学习者相同的更新规则，窗口大小n保持不变。尽管与无限窗口的情况相似，但由定理给出的结果却十分悲观。
A-o最优攻击：Di = i/n
R-o最优攻击：E(Di) = i/n，由于其随机性，这里使用Di的数学期望。
　　实验结果表明，仅需线性数量的中毒样本注入即可攻击成功。

2.Nearest-out Learner.

人们可能会认为，N-O对攻击者构成了更大的挑战，因为它试图尽可能多地保留工作集的多样性。然而，事实证明，如果攻击者遵循贪婪最优策略，即使是N-O策略也可以通过可行的工作量被破坏。

（1）Greedy optimal attack.(Voronoi cell)

此时，攻击者找到攻击点，使得相对位移最大化，这仍可持续令质心向A移动。
原理：

进一步归结为二次约束线性问题：

（2）Attack effectiveness.

对于攻击有效性的估计取决于细胞的复杂性，以下使用实验数据进行分析。
给出实验的各类参数：
　　样本数量n=100，样本来源于使用单位协方差的d维高斯分布数据；
　　半径r使用FPR定义，这里采用α=0.001作为r；
　　攻击向量a随机选取，||a||=1；
　　贪心最优策略迭代次数为500。
　　每次迭代都会计算质心的相对位移，实验重复10次，取均值作为最终结果。
实验结果：ｄ值较小时，接近无限窗口的Ａ－ｏ；随着ｄ↑，接近有限窗口的Ａ－ｏ，这是由于细胞体积迅速增加，可以加快攻击进程。

四、Poisoning Attack with Limited Control over the Training Data

接下来，我们对攻击者的行为增加一些约束。这里我们设定攻击者最多注入v个中毒数据，采用A-o模型进行分析。每一轮迭代中，一个新的数据或由攻击者投毒后插入，或独立从法向点分布中随机选取后插入，这里采用伯努利随机变量决定插入何种数据。令E(ei) = X0，X0为初始质心，同时||ei||≤r。
　　公理1给出攻击策略：

　　敌手的攻击策略可以用任意f形式化，那么问题出现：当攻击者在最小迭代次数时，达到了预定义的攻击目标，哪种攻击策略最优呢？
　　我们使用Di来衡量攻击进度：

　　下面的命题给出最优攻击策略：

实验结果如下：可以看出，在v值较小的情况下，攻击进度被限制在一个常数范围内，这意味着要达到目标攻击，需要无限的努力，这为我们在有限窗口情况下提供了一个更强的安全策略保证。

五、实验相关内容

使用的数据语料库：来自网站服务器的真实http流量。其中，良性样本为2950字节的正常请求，恶意样本有69中攻击实力，被划分为20类攻击类型。我们需要对这些数据进行标准化。

1.Evaluation of a Full Control Attack.
这里需要几个近似：
(1)输入数据维度过大？我们削减维度为250，对应于主成分分析法；
(2)使用原始基点序列与近似匹配的线性组合的有理系数连接，以构造攻击字节序列。

为证实不同攻击边界的有效性，实验会持续进行，直到攻击向量被异常检测系统所接受，即攻击成功。实验结果如下：进行了20次攻击，尽管实际斜率减小了50%，但增长水平仍是线性的；同时，攻击成功仅需要少了的迭代，即覆盖初始训练集的35%即可。

2.Evaluation of a Limited Control Attack.
这里，我们对攻击者可到达的相对位移增加了硬上限，这意味着如果中毒样本的比例小于上文中计算出的Vcrit，攻击将失败。
测试结果入下：设定不同v值，当v=0.16时攻击成功，当v=0.14时，攻击失败。根据定理计算，攻击成功需要的v=0.152，这说明了我们给出的界限是紧的。

以下是针对特定攻击的实际v值和理论v值的比较，这意味着攻击者需要掌握5-15%的流量才能成功进行投毒攻击。对于高流量网站来说，这是攻击能否成功的主要限制。

总结

下面这里对文章进行总结：
　　本文对投毒攻击下的质心异常检测进行了理论和实验研究，指出了安全分析对机器学习算法的重要性。这里确定了安全分析需要解决的三个关键问题：了解一个最佳攻击，分析其效率和约束。这些标准使人们能够对学习算法进行定量的安全性分析。此外，它们为设计对对抗噪声具有鲁棒性的异常检测算法提供了动力。
　　实验结果表明，在不限制攻击者对数据的访问的情况下，具有有限窗口的在线质心异常检测不能被认为是安全的。此外，研究还表明，除非攻击者控制超过临界流量比率(这可能是一个主要障碍)，否则投毒攻击无法成功，这意味着通过控制异常检测算法的FPR，可以实现一种潜在的建设性保护机制。

思路

在本文的实验验证过程中，只有攻击者成功使得A（攻击向量）成功被异常检测系统判定为良性数据，才算一次成功攻击。而实际上，投毒攻击这一过程已经导致模型的质心在逐步向着攻击向量的方向偏移，因此，对于一个NIDS，检测它是否遭受投毒攻击，可以逐步（逐迭代）评估与测量其模型质心是否发生朝着某一固定方向偏移。