![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AEs
文章平均质量分 86
ch1762
https://orcid.org/0000-0002-3021-5040
展开
-
[paper]IMPROVING ADVERSARIAL ROBUSTNESS REQUIRES REVISITING MISCLASSIFIED EXAMPLES
对抗训练是当前最有效的防御措施,经常被公式化为最小-最大优化问题。where n is the number of training examples and lll(·) is the classification loss, such as the commonly used cross-entropy (CE) loss.Recently, adversarial training with adversarial examplesgeneratedbyProjectedGradientDesce原创 2020-06-13 11:39:49 · 1227 阅读 · 0 评论 -
[PAPER]Heat and Blur: An Interpretability Based Defense Against Adversarial Examples
本文提出了一种防御方法,即将特征可视化与输入修改相结合,适用于不同的预训练的网络。即使输入是对抗性的,“真实”对象的相关信息也会由于神经网络的激活保存完好,因此可以以特征可视化的方式提取相关热图里的信息。然后将这些热图用作防御的基础,通过这种防御方法,对抗效果会因大量模糊而损坏。本文还提供了一种新的评估指标,可以更全面的描述攻击和防御的效果。Feature Visualization特征可视化方法的原始目的是更好的解释神经网络。已经提出了几种方法可以找出对神经网络决策有帮助的特征。有三种方法可以达到此目原创 2020-05-19 17:32:12 · 241 阅读 · 0 评论 -
[paper]Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks
本文提出了两种特征压缩方法:减少每个像素的颜色位深度使用空间平滑来减少各个像素之间的差异特征压缩通过将与原始空间中许多不同特征向量相对应的样本合并为单个样本,从而减少了对手可用的搜索空间。通过将DNN模型对原始输入的预测与对压缩输入的预测进行比较,特征压缩可以很好的检测出对抗样本。本方法对于计算资源要求不高,可以与其他防御措施互补,并且可以结合联合检测框架使用。Our approach, which we call feature squeezing, is driven by the obs原创 2020-05-17 15:20:00 · 2273 阅读 · 0 评论 -
[paper]Defense against Adversarial Attacks Using High-Level Representation Guided Denoiser
本文提出了一种防御方法,即由高级特征主导的去噪器 high-level representation guided denoiser(HGD)。 标准去噪器具有误差放大效应,在这种效应中,较小的残留对抗噪声影响会逐渐放大,最终导致错误的分类。HGD通过将损失函数定义为由干净图像和去噪图像激活的目标模型输出之间的差值解决了这个问题。HGD具有三个优点:HGD可以使目标模型面对对抗攻击更加鲁棒HGD具有较好的泛化性HGD效率更高(需要更少的训练数据和训练时间)由于对抗样本使在原始图像添加特定的扰原创 2020-05-14 23:05:39 · 2181 阅读 · 6 评论 -
[paper]ADVERSARIAL MACHINE LEARNING AT SCALE
本文的贡献包括:(1)如何将对抗训练扩展到大型模型和数据集;(2)对抗训练赋予单步攻击算法鲁棒性的原理;(3)发现多步攻击算法的可移植性相比单步攻击算法要差一些,因此单步攻击算法最适合于发动黑盒攻击。(4)对于“标签泄漏”效应的解决方法。“标签泄漏”效应即经过对抗训练的模型在对抗样本上的性能要比在原始样本上更好,因为对抗样本生成过程中使用真实标签,并且模型可以学习对抗样本生成过程中的规律性。在结构相同的情况下,模型能力越强(即参数数量越多)的模型对对抗样本的鲁棒性越好。不同类型的对抗样本在模原创 2020-05-14 16:02:42 · 962 阅读 · 0 评论 -
[paper]UPSET and ANGRI:Breaking High Performance Image Classifiers
提出了两种攻击算法,第一种是针对输出类别生成通用扰动(定向攻击),第二种针对不同图像生成特定扰动(定向攻击)。UPSET:Universal Perturbations for Steering to Exact TargetsUPSET网络为针对原始图像生成具有通用扰动的对抗样本,且可以使模型误分类为指定的目标类别。xxx:原始图像ttt :目标类别x^\hat{x}x^ :对抗样本对抗扰动:rj,j∈1,2,⋯,nr_j,j∈{1,2,⋯,n}rj,j∈1,2,⋯,n即生成第jjj个目原创 2020-05-13 21:58:19 · 771 阅读 · 0 评论 -
[paper]The Limitations of Deep Learning in Adversarial Settings(JSMA)
与之前的基于提高原始类别标记的损失函数或者降低目标类别标签概率的损失函数的方式不同,这篇文章提出利用输入特征到输出值之间的对抗显著性,达到只需修改少量的输入值即可误分类的目的。换句话说,之前的对抗样本的扰动方向都是损失函数的梯度方向(无论是原始类别标记的损失函数还是目标类别标记的损失函数),该论文生成的对抗样本的扰动方向是目标类别标记的预测值的梯度方向,作者将这个梯度称为前向梯度(forward derivative)。深度学习应用系统中,模型的完整性(Intergrity)非常重要,与模型的预测结果原创 2020-05-13 18:27:13 · 593 阅读 · 0 评论 -
[paper]Universal adversarial perturbations
本文提出了计算自然图像中普遍扰动的算法,在神经网络上具有很好的泛化性,并且揭示了模型在高维空间中决策边界的几何联系。并且说明了在输入空间中存在单个方向的潜在安全漏洞,攻击者可能会利用这些漏洞造成模型对大多数自然图像分类错误。universal 算法:μ\muμ是图像分布vvv是universal扰动k^\hat{k}k^是模型universal扰动vvv需要满足两个条件:ξξξ表示控制扰动vvv的幅度大小δδδ表示对于所有自然图像(满足图像分布服从μ\muμ)的期望扰动成功率假如当前的v原创 2020-05-13 17:16:59 · 325 阅读 · 0 评论 -
[paper]SPATIALLY TRANSFORMED ADVERSARIAL EXAMPLES
本文提出了一种基于空间变换(spatially transformed)(smooth image deformation)的对抗样本生成算法。(LpL_pLp距离较大,但图像更真实更不容易被检测)之前的生成算法大多是将LpL_pLp范数作为损失函数,然后直接调整像素值。两个重要因素1)图片亮度和质量2)几何关系先前的大多数对抗攻击都建立在改变亮度和质量的基础上,同时假设在对抗扰动生成过程中图片的几何关系保持不变。算法:最小化空域局部形变,而不是传统的像素值LpLpLp 距离。具体地,设输原创 2020-05-13 14:09:28 · 593 阅读 · 0 评论 -
[paper]One Pixel Attack for Fooling Deep Neural Networks
之前对抗攻击算法都是在整个图像的所有像素点上做微小的扰动,以达到欺骗模型的目的。而本文的思想是只改变少量的像素点,甚至在只改变一个像素点的极端情况下就能获得较好的攻击效果。提出了一种基于差分进化(DE)生成单像素对抗样本的黑盒攻击(仅需要概率标签)算法。由于DE的固有属性,仅需要较少的对抗信息就可以欺骗更多类型的网络。算法优点 :高效性半黑盒攻击:只需要返回黑盒的类标概率而不用网络的内部参数。灵活性:可以攻击那些不可微或梯度难以计算的模型。主要出发点:自然图像邻域的分析感知度量单像素原创 2020-05-13 12:49:52 · 717 阅读 · 0 评论 -
[paper]Practical Black-Box Attacks against Machine Learning
本文提出了对抗样本的黑盒攻击策略,也就是在没有分类训练数据或模型知识的情况下生成对抗样本。 即通过构建一个综合数据集(通过收集目标分类器的输入和输出),以训练目标模型的替代品(本地构建的相似的模型),实现对目标模型的攻击。三个关键属性:(a)所需的功能仅限于观察输出类标签(b)查询的标签数量为有限(c)除了最新的DNN,该方法也适用于不同的ML分类器类型黑盒攻击策略:训练替代模型:攻击者通过基于雅可比启发式算法(Jacobian based heuristic)的合成输入来查询模型并获得模型输原创 2020-05-13 12:17:12 · 516 阅读 · 0 评论 -
[paper]Intriguing properties of neural networks(L-BFGS)
本文提出了神经网络的两个有趣的特性:各个高级单元和高级单元的随机线性组合之间没有区别,即在神经网络的高层中包含语义信息的是空间而不是单个单元。深度神经网络学习的输入-输出映射在相当大的程度上是不连续的。通过使用一些难以察觉的扰动可以造成模型的误分类,这种扰动是通过最大化网络的预测误差而发现的。最后提出一种基于最大化网络预测误差的攻击方法 L-BFGS详细内容可参考https://blog.csdn.net/qq_43205738/article/details/84575387...原创 2020-05-10 21:53:52 · 337 阅读 · 0 评论 -
[转载]Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images
论文内容总结首次提出假反例攻击,即:生成人类无法识别的图片,却能够让神经网络以高置信度分类成某个类别使用了多种不同的方法生成图片,称为“fooling images”普通的EA算法,对图片的某个像素进行变异、进化CPPN EA算法,可以为图像提供一些几何特性,如对称等梯度上升将fooling images添加到数据集中,作为n+1类,重新训练网络,然后将得到的网络再生成fooling images,再训练,如此迭代,来提高模型的防御能力。介绍了在MNIST数据集和ImageNet数据集转载 2020-05-10 20:37:55 · 405 阅读 · 0 评论 -
[paper]EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES(FGSM)
早期关于对抗样本产生原因的被认为是由于神经网络的非线性和过拟合,但是这篇论文证明对抗样本是由于神经网络在高维空间中的线性属性产生的。同时,这篇论文提出了一个能够简单快速的生成对抗样本的方法(FGSM)。论文主要内容总结:模型的线性属性让其更容易被训练,而其非线性让其容易抵御对抗扰动的攻击,即容易优化的模型也容易被扰动。对抗性训练可以提高模型对对抗样本的鲁棒性。通用的正则化策略不会改善模型对对抗样本的脆弱性,但如果使用非线性模型族(例如RBF网络)则可以保证模型的鲁棒性。对抗样本是由于神经网络在高原创 2020-05-09 23:06:25 · 182 阅读 · 0 评论 -
[paper]DeepFool: a simple and accurate method to fool deep neural networks
本文目标是寻求最小的扰动来达到生成对抗样本的目标,因此提出了DeepFool的算法来生成扰动,并且提出了一种量化分类器鲁棒性的方法。这是第一个通过计算出最小的必要扰动,并应用到对抗样本构建的方法,使用的限制扰动规模的方法是L2范数。最终得到的对抗样本效果要优于前面的FGSM和JSMA方法,但是这三者都需要比较大的计算资源。根据样本xxx,标签 k^(x)\hat{k}(x)k^(x):可以称Δ(x,k^)\Delta (x,\hat{k})Δ(x,k^)为k^\hat{k}k^在点xxx上的鲁棒性。原创 2020-05-09 18:39:01 · 489 阅读 · 0 评论 -
[paper]Towards Evaluating the Robustness of Neural Networks(C&W)
本文提出了针对Denfensive distillation这种防御措施的C&W算法(基于三种不同距离的对抗样本生成算法),同时也具有一定的迁移性。本文把构建对抗样本的过程转化为一个最优化问题:其中DDD是衡量原始图像与对抗样本之间的距离, 三种不同距离分别为L0L_{0}L0范数L2L_{2}L2范数和L∞L_{\infty }L∞范数。但由于C(x+δ)=tC(x+δ)=tC(x+δ)=t这个问题很难直接求解,因此作者通过构造函数f(x,t)f(x,t)f(x,t) 使得在f(x,原创 2020-05-08 21:29:49 · 511 阅读 · 0 评论 -
[paper]Boosting Adversarial Attacks with Momentum
本文提出一个基于动量(Momentum)的迭代算法,该方法通过梯度以迭代的方式对输入进行扰动以最大化损失函数,并且该方法还会在迭代过程中沿损失函数的梯度方向累加速度矢量,目的是稳定更新方向并避免糟糕的局部最大值。从而产生更好的可迁移(transferable)的对抗样本,解决了对抗样本生成算法对于黑盒模型的低成功率问题。文中提到:对抗样本迁移性的现象是由于不同的机器学习模型在数据点周围学习到...原创 2020-05-07 15:37:23 · 635 阅读 · 0 评论 -
[paper]ADVERSARIAL EXAMPLES IN THE PHYSICAL WORLD
本文指出在现实世界的场景下,机器学习系统也是非常脆弱的。并提出了BIM&ILCM算法,可用于现实世界场景下的对抗样本生成。论文主要内容:探讨了为在物理世界中运行的机器学习系统创建对抗样本的可能性提出了两种方法来生成对抗样本,BIM&ILCM:引入破坏率来表示现实世界中的变换对对抗样本的影响损失函数—交叉熵损失(这里省略了网络权重θ\thetaθ)J(X,y)=−l...原创 2020-05-07 13:04:39 · 843 阅读 · 0 评论 -
[paper]Adversarial Transformation Networks: Learning to Generate Adversarial Examples
本文提出了ATN(Adversarial Transformation Network)方法来生成对抗样本。之前的许多方法都是利用梯度信息进行攻击,本文通过训练一个神经网络,将原图作为输入,输出为对抗样本。在给定原始输入的情况下,对分类器的输出进行最小的修改,同时限制新分类以匹配对抗目标类。ATN神经网络可以被定义为:θ\thetaθ是神经网络的参数fff是目标网络优化问题为:LxL...原创 2020-05-06 21:40:26 · 899 阅读 · 0 评论 -
[paper]AdvJND:Generating Adversarial Examples with Just Noticeable Difference
生成对抗样本有两个要求:攻击成功率和图像保真度指标。 增加扰动可以确保对抗样本的攻击成功率很高; 但是生成的对抗样本隐蔽性很差。 为了在攻击成功率和图像保真度之间取折衷,提出了一种名为AdvJND的方法,该方法在生成对抗样本时在失真函数的约束下添加了视觉模型系数,该系数用来衡量视觉上的差异。AdvJND算法生成的对抗样本产生的梯度分布与原始输入相似。该方法可以认为是一种辅助生成方法,用来改善生成算...原创 2020-05-06 10:46:21 · 395 阅读 · 0 评论 -
[转载][paper]Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey
Threat of Adversarial At...转载 2020-05-06 09:34:30 · 487 阅读 · 0 评论 -
[paper]Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks
本文提出了一个防御算法,在不改变深度神经网络的结构并且在尽可能小的影响模型准确率的前提下能够有效地抵御对抗样本的攻击。We use the knowledge extracted during distillation to reduce the amplitude of network gradients exploited by adversaries to craft adversari...原创 2020-05-05 20:50:40 · 767 阅读 · 0 评论 -
[paper]ADVERSARIAL REPROGRAMMING OF NEURAL NETWORKS
传统对抗样本目的是使模型分类错误,本文通过则是使模型执行特定任务(攻击者设定),且该任务可以未被训练过。We introduce attacks that instead reprogram the target model to perform a task chosen by the attacker—without the attacker needing to specify or c...原创 2020-05-02 19:45:06 · 536 阅读 · 0 评论