certified-defenses-for-data-poisoning-attacks

数据中毒攻击的认证防御

出发点：
问题的重要性；
以用户提供的数据为训练对象的机器学习系统容易受到数据中毒攻击，恶意用户注入错误的训练数据，目的是破坏所学习的模型。虽然最近的工作提出了一些攻击和防御。在面对意志坚定的攻击者时，最坏的情况是失去防御，对此我们知之甚少
以前工作有何不足：
我们注意到，尽管生成对抗网络是安全的，但它们并不关注安全性，而是为训练生成模型提供了一个博弈论目标。//
在均值和协方差估计和聚类、分类、回归以及众包数据聚合方面，鲁棒算法已经得到了展示然而，这些界限只适用于特定的算法，并且关注于良好的渐近性能，而不是为具体数据集/防御提供良好的数值误差保证。
场景及假设：
场景中假设
我们的近似依赖于两个假设:
(1)数据集足够大，可以容纳训练和测试误差之间的统计浓度(statical concentration);
(2)干净数据中的异常值对模型没有很强的影响

中心思想：
由于可能发生攻击的空间几乎是无限的，对已知攻击的防御不会在针对新攻击时失败。我们通过给出一个基于给定防御攻击的整个空间的框架来解决这个困难。
我们的框架适用于：
(i) 删除驻留在可行集之外的异常值然后
(ii) 最小化基于剩余数据的保证金损失(minimize a margin-based loss on the remaining data)

具体方案：

1. 计算在线计算时的最小损失
   算法基于无悔学习（no-regret online learning），得出的结论因此，任何后悔算法都有一个接近最优的候选攻击，我们有一个简单的学习算法，它计算极小极大损失的一个上界和一个候选攻击(它提供了一个下界)。当然，极小极大损失M只是真实最坏情况下测试损失的近似
2. 依赖数据防御：上下界限
   现在我们将注意力转向依赖于数据的防御者，分析了极小极大损失MI为了提高易用性，我们采用连续松弛

实验：
实验1 Oracle Defense
研究了两个图像数据集:MNIST-1-7和Koh和Liang(2017)使用的Dogfish数据集。

实验2 Data-Dependent Defenses
我们重新考虑了MNIST-1-7 和Dogfish datasets
如果我们转而考虑一个使用经验(中毒)方法的依赖于数据的防御者，这会在多大程度上改变这些数据集的攻击能力？ 即使在这种依赖于数据的情况下，我们仍然可以使用框架来获取上界和下界，尽管这些上界不一定匹配，这涉及到潜在的棘手的最大化

在文中，提出了一个研究数据中毒防御的工具，它超越了经验验证的范围，通过提供针对大量攻击的证书

我们强调边界是用来评估防御策略在设计阶段,而不是保证部署的学习算法的性能
例如，如果我们想为图像分类器构建健壮的防御，我们可以评估针对许多已知图像数据集的攻击的性能，以便对实际部署的系统的健壮性获得更多的信心

问题
我们的框架目前不处理非凸损失:虽然我们的方法作为一种生成攻击的方法仍然有意义，但是我们的上界将不再有效。问题是，攻击者可能试图阻止优化过程，并导致防御者最终陷入一个糟糕的局部极小值。在不依赖于凸性的情况下找到排除这种情况的方法将非常有趣。