Towards Poisoning of Deep Learning Algorithms with Back-gradient Optimization

出发点：
问题的重要性
如今许多在线服务都依赖于机器学习从外界数据中提取有用的信息，这使得学习算法面临数据中毒的威胁, 值得注意的是，机器学习本身可能是安全链中最薄弱的一环，因为他的漏洞可以被攻击者利用来窃取整个系统的基础设施
以前工作有何不足
到目前为止，由于用于优化中毒点的基于梯度的过程的固有复杂性(又称对抗性训练示例)，这些攻击只针对有限种类的二进制学习算法设计，同时以前工作只考虑了两种学习算法的中毒(poisoning of two-class learning algorithms)

场景及假设：
场景中有哪些假设？
攻击者目的(攻击的目的取决于期望的安全侵犯和攻击专一性，以及错误的具体化)

1. Security Violation安全冒犯（包含以下几个方面）
   Integrity violation 完整性冒犯，availability violation 可用性违反 privacy violation 隐私冒犯
2. Attack Specificity 攻击专一性
   攻击特异性。如果攻击的目的是造成对一组特定样本(针对给定的系统用户或受保护的服务)或任何样本(针对任何系统用户或受保护的服务)的错误分类，则此特性的范围从有针对性到不加区分。
3. Error Specificity
   用于消除多类问题中的错误分类问题，将样本错误的分为一个特定类

攻击者的认识
攻击者对于目标系统有不同级别的认识包括
Perfect-Knowledge (PK) Attacks（完美级别）
In his case, the attacker is assumed to know everything about the targeted system. 虽然这样的情况并不总是事实案例，它让我们展示了最差情况下被攻击的学习算法的安全性，展示出退化的最大限度（被攻击的最惨情况）
Limited-knowledge (LK) Attacks
攻击者知道基本特征和学习算法，但不知道训练数据

攻击者的能力(on the influence that the attacker has on the input data and on the presence of data manipulation constraints)
Attack Influence
在监督学习中，attack influence can be causative，如果攻击者可以影响训练数据和测试数据或者探索数据，如果攻击者仅能操作测试数据
Data Manipulation Constraints
对于输入数据的约束

中心思想：
首先将中毒攻击的定义扩展到多类问题。在此基础上，提出了一种基于反梯度优化思想的新型中毒算法。，通过自动微分计算利益（interest）梯度，同时反转学习过程，大大降低了攻击复杂度。与目前的中毒策略相比，我们的方法能够针对更广泛的学习算法，包括神经网络和深度学习体系结构在内的基于梯度的训练过程

具体方案：
中毒能力的评估
通过基于攻击者对于系统一定的认识θ ∈ Θ和一些列操作过的攻击样例Dc′ ∈ Φ(Dc )，从而可以评估攻击的目标水准Dc ∈argmaxA(Dc,θ)

中毒攻击场景
Error-Generic Poisoning Attacks 常规
先前工作中最常见的场景就是对two-class 学习算法再度从而造成对服务的拒绝(denial of service)，not aiming to cause specific errors but only generic misclassifications.
Error-Specific poisoning attacks 具体针对
我们假设攻击者的目标是造成特定的分类错误

中毒攻击with Back-gradient optimization
Gradient-based Poisoning Attacks
模块1 中毒攻击算法
通过对原始数据点的需要修改，达到下毒的目的

	梯度下降算法
	获得一个训练的参数WT

	反梯度下降算法

问题：梯度缺乏精度，尤其是收缩很松散

Poisoning with Back-gradient Optimization
该技术首次应用基于能量的模型和超参数优化，解决了类似于之前讨论的中毒问题的二层优化问题。方法的核心是用一系列的通过机器学习的迭代手段来更新参数从而达成内部优化

实验：
评估反梯度中毒攻击对垃圾邮件和恶意软件检测任务的有效性
评估了中毒样本是否可以跨不同的学习算法传输
研究了常见的手写数字识别的多类问题中错误类和错误特异性中毒攻击的影响。在本例中，我们还报告了通过端到端方式毒害卷积神经网络

垃圾邮件和恶意软件检测
两个不同的数据集，分别表示垃圾邮件分类问题(Spambase)和恶意软件检测任务(Ransomware)
考虑以下学习算法:
(i) 多层感知器(MLPs)，一个隐含层由10个神经元组成;
(ii) 逻辑回归(LR);
(iii) Adaline (ADA)

中毒样例的迁移性
攻击点可以有效地跨线性算法进行转移，并且对(非线性)神经网络具有显著的影响。相比之下,从非线性迁移到线性模型不是那么有效

手写字体的识别
Error-generic attack（普适性错误攻击）
攻击者的目标是最大化分类错误，而不考虑所导致的错误样本
Error-specific attack（针对地错误攻击）

贡献

1. 在这项工作中，我们考虑了训练数据中毒的威胁，虽然之前的工作已经显示了这种攻击对二进制学习者的有效性，但在这项工作中，我们是第一个考虑在多类分类设置中使用中毒攻击的人。为此，对常用的威胁模型进行了扩展，引入了错误特异性的概念，表示攻击者是否旨在引起特定的错误分类错误
2. 这项工作的另一个重要贡献是克服了最先进的中毒攻击的局限性，这需要利用攻击的平稳性(KKT)条件优化中毒样本的学习算法。通过提出一种基于反梯度优化的新型中毒算法克服了这些局限性，可以应用于更广泛的学习算法，因为它只需要学习算法在训练过程中平稳地更新其参数，甚至不需要以非常高的精度满足最优性条件。此外，通过将学习算法的不完全优化得到的参数转化为较少的迭代次数，使得我们的攻击策略能够有效地应用于大型神经网络和深度学习体系结构，以及通过基于梯度的过程训练的任何其他学习算法。我们在垃圾邮件过滤、恶意软件检测和手写数字识别方面的经验评估表明，即使攻击者只控制一小部分训练点，神经网络也可能受到严重损害。我们还从经验上证明，针对一种学习算法设计的中毒样本在毒害另一种算法时也可以相当有效，这突出了可转移性。

问题/局限
这项工作的主要局限性是，我们还没有对针对深度网络的中毒攻击进行广泛的评估，以彻底评估其对中毒的安全性。我们的初步实验似乎表明，与其他学习算法相比，它们能更有效地抵御这种威胁。这可能是由于它们的容量和参数数量更高，这可能使网络能够记住中毒样本，而不影响在其他地方正确学习到的内容。