对抗样本学习笔记:Adversarial Examples: Attacks and Defenses for Deep Learning

(持续更新)

一、相关优质博客

1.全面入门
2.直观理解原理
3.相关补充论文
4.对抗防御分类

二、论文细节知识点

  • 1.hessian矩阵(表一):hessian矩阵实际上就是函数的二阶导矩阵
    Hessian矩阵在机器学习中的应用(拓展):即hessian矩阵能来找极值点
  • 2.RNN简单介绍
  • 3.自编码器简单介绍:个人理解为类似无监督的学习算法,让机器训练出能保留原始数据较好特征的权值矩阵,然后每次训练当前层都先采用上一层的得到的权值矩阵。自编码器通常被用于降维或特征学习。本文里提到这是一种加解密的模型,目的是使输入和输出的差异减小,可用于压缩/解压任务。
  • 4.基本的GAN介绍里包括WGAN:改进损失函数,提供训练指标;
    GAN进一步的原理解释就是:以下摘自博主「JensLee」
    首先这个网络模型(定义在上面),先传入生成器中,然后生成器生成图片之后,把图片传入判别器中,标签此刻传入的是1,真实的图片,但实际上是假图,此刻判别器就会判断为假图,然后模型就会不断调整生成器参数,此刻的判别器的参数被设置为为不可调整,d.trainable=False,所以为了不断降低loss值,模型就会一直调整生成器的参数,直到判别器认为这是真图。此刻判别器与生成器达到了一个平衡。也就是说生成器产生的假图,判别器已经分辨不出来了。所以继续迭代,提高判别器精度,如此往复循环,直到生成连人都辨别不了的图片。

三、论文内容节选

1.表一:(私:LaTeX练习输入)

符号定义
x x x没有修改、处理过的原始数据输入
l l l分类问题中的标签, l = 1 , 2 , ⋅ ⋅ ⋅ , m l=1,2,···,m l=1,2,,m。其中 m m m是类别数
x ′ x' x对抗样本,即修改后的数据输入
l ′ l' l在针对性对抗样本中敌手的分类标签
f ( ⋅ ) f(·) f()深度学习模型(对于图像分类任务来说, f ∈ F : R n → l f\in F:\mathbb{R}^n\rightarrow l fF:Rnl)
θ θ θ深度学习模型 f f f的参数
J ( ⋅ ) J(·) J()损失函数
η η η原始的输入数据和修改后输入数据的差异: η = x ′ − x η=x'-x η=xx (输入的数据是相同的尺寸)
∥ ⋅ ∥ p \left\|·\right\|_p p l p l_p lp范数
∇ \nabla 梯度
H ( ⋅ ) H(·) H()海森矩阵,二范数的一个拓展
K L ( ⋅ ) KL(·) KL()Kullback-Leibler (KL) 散度函数

2.产生对抗样本的方法
这部分可以参考机器之心的文章,这里只做些补充

  • A.L-BFGS Attack

$min_x’ c ∥ η ∥ + J θ ( x ′ , l ′ ) c\left\|η\right\|+J_θ(x', l') cη+Jθ(x,l)
s . t . x ′ ∈ [ 0 , 1 ] s.t.x'\in[0,1] s.t.x[0,1]
(公式咋居中不太会= =)

&nbsp&nbsp 作者表明,生成的对抗样本也可以推广到不同的模型和不同的训练数据集。 他们认为,对抗样本是由于测试数据集中从未/罕见的例子。Szegedy[22] 等人首次证明了可以通过对图像添加小量的人类察觉不到的扰动误导神经网络做出误分类。他们首先尝试求解让神经网络做出误分类的最小扰动的方程。但由于问题的复杂度太高,他们转而求解简化后的问题,即寻找最小的损失函数添加项,使得神经网络做出误分类,这就将问题转化成了凸优化过程。该问题通过线性搜索C>0的情况来找到合适的近似值。
注:凸优化问题参考;详细公式解释

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值