对抗样本(Adversarial examples):对抗样本的本质就是在原数据上叠加一些使机器学习模型可接受而人眼无法察觉的细微改变,使得机器学习模型对输入数据产生误判。
深度学习模型对于对抗样本都具有极高的脆弱性,这种脆弱性在机器学习中也是普遍存在。在训练集的不同子集上训练得到的具有不同结构的模型都会对相同的对抗样本实现误分,这意味着对抗样本成为了训练算法的一个盲点。
白盒攻击:白盒攻击需要完整获取模型,了解模型的结构以及每层的具体参数,攻击者可以控制模型的输入,甚至对输入数据进行比特级别的修改
黑盒攻击:黑盒攻击是把目标模型当做一个黑盒来处理,对模型的内部细节不了解,攻击者仅能控制模型的输入