欢迎来到道的世界

 对抗迁移性攻击一般是先通过代理模型生成对抗样本，然后将该样本迁移到其它黑盒模型中进行攻击，对抗迁移性的根本原因目前仍有待于探究。以前的工作主要从模型的角度探讨原因，例如决策边界、模型架构和模型容量等。在该论文中，作者从数据分布的角度研究对抗样本的可迁移性，其核心思想是针对于无目标攻击，将图像移出其原始分布会使不同的模型很难对图像进行正确分类。针对于有目标攻击，则是将图像拖入目标分布会误导模型将图像分类为目标类。因此作者提出了一种通过操纵图像的分布来生成对抗样本的新方法。实验结果证明了所提出方法的有效性。

 policy gradient是强化学习中一种基于概率策略的方法。智能体通过与环境的交互获得特定时刻的状态信息，并直接给出下一步要采取各种动作的概率，然后根据该状态动作的策略分布采取下一步的行动，所以每种动作都有可能被选中，只是选中的概率性不同。智能体直接学习状态动作的策略分布，在强化学习的训练中，用神经网络来表示状态动作分布，给一个状态，就会输出该状态下的动作分布。强化学习算法直接对策略进行优化，使指定的策略能够获得最大的奖励。 考虑一个随机参数化的策略πθ\pi_\thetaπθ​，强化学习主要目标是

 该论文是关于神经网络鲁棒性理论类的文章。类似有Sigmoid激活函数的神经网络，由于其非线性，使得在进行神经网络鲁棒验证评估时，不可避免地会引入了不精确性。当前的一个研究方向是寻找更严格的近似值以获得更精确的鲁棒验证结果。然而，现有的紧密度定义是启发式的，缺乏理论基础。在该论文中，作者对现有的神经元紧密度表征进行了全面的实证分析，并揭示它们仅在特定的神经网络上具有优势。另外，作者基于神经网络紧密度的概念重新提出了一个统一的神经网络紧密度定义，并表明计算神经网络紧密度是一个复杂的非凸优化问题。为了能够更好地

 当前很多研究工作提出了用于训练分类器的启发式算法，其目的是使分类器对对抗扰动具有一定鲁棒性。然而，这些启发式算法中的大多数算法缺乏相应的理论基础做支撑。随之而来出现了关于分类器可证鲁棒性的一系列理论研究工作，即在任何输入样本点的预测在围绕在该样本点的某个集合内是一个可验证的常数。在该文中，作者首次提供了随机平滑的严格鲁棒性保证证明，论文分析表明，使用高斯噪声进行平滑会在 ℓ2\ell_2ℓ2​范数下产生可证明的鲁棒性，而且论文中验证神经网络鲁棒性的方法可以扩展到像ImageNet等足够大的神经网络中。该论

 黑盒迁移攻击是对抗攻击中非常热门的一个研究方向，基于动量梯度的方法又是黑盒迁移攻击的一个主流方向。当前大部分研究主要通过在数据样本的尺寸，分布，规模，时序等方面来丰富梯度的多样性，使得生成的对抗样本在迁移到其它的模型攻击时，能够有更高的攻击成功率。本文会介绍最近几年有代表性的黑盒迁移攻击的论文，这些论文的方法经常会被当成论文比较的baseline。我对论文中涉及到一些数学结论进行补充证明，大部分论文中给出的源码是tensorflow的，我又根据论文的算法流程图用pytorch对论文的核心方法重新编程了一下

深度学习模型容易受到对抗样本的攻击，尽管基于最速下降的现有方法已经取得了很高的攻击成功率，但优化的病态问题偶尔会降低它们的攻击性能。实验结果表明，对于大多数模型，论文提出的方法比现有的SOTA算法能够以更少的迭代次数找到更优的对抗样本，而且论文所提出方法的更多样化的搜索显著提高了对抗攻击的成功率。此外，为了研究投影对APGD的影响，作者还计算了两个搜索点之间行进距离的比率，它表示投影浪费的更新距离量。论文中提供了算法源码，其代码有些复杂，以下代码是根据论文的核心算法重新编写的较为简单的核心代码。......

 在上一篇《基于流的深度生成模型》中详解介绍了有关流的生成模型理论和方法。目前为止，基于GAN生成模型，基于VAE的生成模型，以及基于flow的生成模型它们都可以生成较高质量的样本，但每种方法都有其局限性。GAN在对抗训练过程中会出现模式崩塌和训练不稳定的问题；VAE则严重依赖于目标损失函数；流模型则必须使用专门的框架来构建可逆变换。本文主要介绍关于扩散模型，其灵感来自于非平衡热力学。它们定义了扩散步骤的马尔可夫链，将随机噪声缓慢地添加到数据中，然后学习逆向扩散过程以从噪声中构造所需的数据样本。 与VAE或

 该论文是关于黑盒攻击可迁移性的文章。在当前大量的研究中，许多方法直接攻击代理模型并获得的可迁移性的对抗样本来欺骗目标模型，但由于代理模型和目标模型之间的不匹配，使得它们的攻击效果受到局限。在该论文中，作者从一个新颖的角度解决了这个问题，通过训练一个元代理模型（MSM），以便对这个模型的攻击可以更容易地迁移到到其它模型中去。该方法的目标函数在数学上被表述为一个双层优化问题，为了能够让训练过程梯度有效，作者提出了新的梯度更新过程，并在理论上给出了证明。实验结果表明，通过攻击元代理模型，可以获得更强的可迁移性的

 到目前为止，两种生成模型GAN\mathrm{GAN}GAN和VAE\mathrm{VAE}VAE并不能准确地从真实数据x∈D{\bf{x}}\in \mathcal{D}x∈D中学习出概率分布p(x)p({\bf{x}})p(x)。以隐变量的生成模型为例，在计算积分p(x)=∫p(x∣z)dzp({\bf{x}})=\int p({\bf{x}}|{\bf{z}})d{\bf{z}}p(x)=∫p(x∣z)dz时，需要遍历所有的隐变量z{\bf{z}}z的取值这是非常困难，且不切实际的。基于Flow\m

 该论文是关于对抗攻击理论性的文章，作者为对抗攻击提供了非常可靠的解释性。当前最优传输理论是深度学习理论中非常热门一个的方向，作者从最优传输理论的角度去分析对抗攻击的现象。当学习具有最优传输问题对偶损失的1-Lipschitz1\text{-}\mathrm{Lipschitz}1-Lipschitz神经网络时，模型的梯度既是最优传输方案的方向，也是最接近对抗样本的方向。沿着梯度移动到决策边界不再是一种对抗攻击，而是一种反事实的解释，即可以看作明确地从一个类传输到另一个类。通过对可解释AI\mathrm{A

1 引言 在上一篇《Fisher信息量在对抗样本中的应用》中详尽地阐述了Fisher信息量在对抗攻击，防御，以及检测中的应用，并解析了三篇具有代表性的论文。Fisher信息量是可以用来去挖掘深度学习模型对抗行为的深层原因的非常好用一个数学工具。本文主要基于用Fisher信息量去检测对抗样本的一篇论文《Inspecting adversarial examples using the Fisher information》的代码进行深度解析，该论文提出了三个指标对对抗样本进行检测分别是Fisher信息矩阵迹

 该论文是关于显著图分割和定位的论文。目前深度神经网络可解释性的一个直观的方法就是深度模型输出各个预测类别的显著图。大多数现有的方法要么使用激活和梯度，要么通过反复干扰输入来找到这种属性。在该论文中，作者通过训练另一个深度神经网络解释器来生产显著图，以预测预先训练好的黑盒分类器的属性，只显示图像中与分类器相关的部分，并过滤掉其它无关的部分。论文中定性和定量的实验结果表明，与其他方法生成的显著图相比，论文中提出的方法生成了更清晰和更精确的显著图边界。论文链接： https://arxiv.org/abs/2

 该论文是关于对抗样本可迁移性的文章。在该论文中，作者提出了一种可迁移注意力攻击（TAA\mathrm{TAA}TAA），该方法基于关注图像特定区域和特征对干净图像进行对抗扰动。另外，作者还将三元组损失函数引入到对抗样本的生成策略中，在攻击过程中干净图像被迭代地“推”离源类，同时随着攻击进行“拉”近到目标类，以实现对抗样本较高的可迁移性。实验结果表明，该方法不仅提高了对抗样本的可迁移性，而且保持了较高的白盒目标攻击成功率。论文链接： https://ieeexplore.ieee.org/docume

 该论文是关于对抗训练理论分析性的文章，目前对抗训练及其变体已被证明是抵御对抗攻击的最有效防御手段，但对抗训练的过程极其缓慢使其难以扩展到像ImageNet这样的大型数据集上，而且在对抗训练的过程中经常会出现模型过拟合现象。在该论文中，作者从训练样本的角度研究了这一现象，研究表明模型过拟合现象是依赖于训练样本，并且具有较大梯度范数的训练样本更有可能导致灾难性过拟合。因此，作者提出了一种简单但有效的方法，即自适应步长对抗训练 (ATAS)。 ATAS学习调整与其梯度范数成反比的训练样本自适应步长。...

1 引言2 预备知识3 论文方法min⁡fθmax⁡∥x′−x∥p≤ϵL(fθ(x′),y)\min\limits_{f_\theta}\max\limits_{\|\bf{x}^{\prime}-\bf{x}\|_p\le \epsilon}\mathcal{L}(f_\theta({\bf{x}}^{\prime}),y)fθ​min​∥x′−x∥p​≤ϵmax​L(fθ​(x′),y)LFS(h,ATG,xi)=∑(x,xi′)∈Eca+(i)s(h(xi),h(xi′))+∑(x,xj)∈E

IGi(f,x,r)=(xi−ri)×∫η=01∂f(r+η×(x−r))∂xidη\mathrm{IG}_i(f,\boldsymbol{x},\boldsymbol{r})=(x_i-r_i)\times\int_{\eta=0}^1\frac{\partial f(\boldsymbol{r}+\eta\times(\boldsymbol{x}-\boldsymbol{r}))}{\partial x_i}d\etaIGi​(f,x,r)=(xi​−ri​)×∫η=01​∂xi​∂f(r+η×(x−r

1 引言2 预备知识2.1 对抗攻击max⁡δL(fθ(x+δ),y)s.t. δ∈G\max\limits_{\delta} L(f_\theta(x+\delta),y)\quad \mathrm{s.t.}\text{ }\delta\in \mathcal{G}δmax​L(fθ​(x+δ),y)s.t. δ∈Gxt+1=Proj∞x,ϵ(xt+α⋅sgn(∇L(fθ(xt),y)))x_{t+1}=\mathrm{Proj}^{x,\epsilon}_{\infty}

1 引言2 相关介绍3 论文方法3.1 控制梯度大小

3 论文方法 特征级别的攻击在生成对抗样本的过程中会破坏掉积极的特征从而扩大消极的特征。因此，由特征级别生成的对抗样本可有继承误导其他A:=∑i=1N2(xi−xi′)∫01∂F∂xi(x′+α(x−x′))dαA:=\sum\limits_{i=1}^{N^2}(x_i-x^{\prime}_i)\int_0^1\frac{\partial F}{\partial x_i}(x^{\prime}+\alpha(x-x^{\prime}))d\alphaA:=i=1∑N2​(xi​−xi′​)∫0

Inspecting adversarial examples using the Fisher informationFθ=ED∼p(D∣θ)[∇θlog⁡p(D∣θ)∇θ⊤log⁡p(D∣θ)]=−ED∼p(D∣θ)[∇θ∇θ⊤log⁡p(D∣θ)]\begin{aligned}\mathbb{F}_\theta&=\mathbb{E}_{\mathcal{D}\sim p(\mathcal{D}|\theta)}[\nabla_\theta \log p(\mathcal{D}|\theta

3 GAN监督学习L(fθ,y)=ℓ(fθ(x),y)\mathcal{L}(f_\theta,y)=\ell(f_\theta(x),y)L(fθ​,y)=ℓ(fθ​(x),y)

3 论文方法3.1 元对抗扰动训练f(x+v)=t,for most x∼μf(x+v)=t, \quad \mathrm{for \text{ } most\text{ }}x \sim \mu f(x+v)=t,for most x∼μv′←v−α⋅1n∑i=1n∇vL(fi,B+v,t)v^{\prime}\leftarrow v - \alpha \cdot \frac{1}{n}\sum\limits_{i=1}^n\nabla_v L(f_i,\ma

1 引言2 相关工作3 论文方法3.1 Full-Body GAN3.2 Multi-GAN优化min⁡wA,wB∫ΩL(GA(wA),GB(wB))\min\limits_{{\bf{w}}_A,{\bf{w}}_B}\int_{\Omega}\mathcal{L}(\mathcal{G}_{A}({\bf{w}}_A),\mathcal{G}_{B}({\bf{w}}_B))wA​,wB​min​∫Ω​L(GA​(wA​),GB​(wB​))Lcoarse:=λ1L1(IA↓,IB↓)+λ2

2 相关工作fθ(xadv)≠y,s.t.∥xadv−x∥p≤ϵf_\theta(x^{adv})\ne y, \quad s.t. \quad \|x^{adv}-x\|_p\le \epsilonfθ​(xadv)​=y,s.t.∥xadv−x∥p​≤ϵxadv=x+ϵ⋅sign(∇xJ(x,y))x^{adv}=x+\epsilon \cdot \mathrm{sign}(\nabla_x J(x,y))xadv=x+ϵ⋅sign(∇x​J(x,y))xt+1adv=xtadv+α⋅sign(

3 论文方法3.1 方法概述xadv=x+δ←g(x,a,w)x_{adv}=x +\delta \leftarrow g(x,a,w)xadv​=x+δ←g(x,a,w)3.2 对抗训练公式化表述min⁡wE(x,y)∼DL(fw(xadv),y)\min\limits_{w}\mathbb{E}_{(x,y)\sim \mathcal{D}}\mathcal{L}(f_w(x_{adv}),y)wmin​E(x,y)∼D​L(fw​(xadv​),y)min⁡wE(x,y)∼D[max⁡θEa

引言 神经网络鲁棒性评估一直是深度学习领域中一个热门的研究方向，该论文是通用评估神经网络鲁棒性方法的开山之作。作者将神经网络鲁棒性问题转换成局部Lipschitz常数的估计问题，并利用极值理论方法进行评估，进而提出了一种度量神经网络鲁棒性的通用方法-CLEVER，该方法可以对不可知的攻击方式进行评估，并且对于大规模的神经网络计算成本较少。...

No Free Lunch定理定理（No Free Lunch）: 假定A\mathcal{A}A是一个在域X\mathcal{X}X的二分类任务中任意一个机器学习算法，其损失函数为0-10\text{-}10-1损失。令nnn是一个大小为∣X∣/2|\mathcal{X}|/2∣X∣/2的训练集，存在域X\mathcal{X}X中的分布D\mathcal{D}D，则有 存在一个函数f:X→{0,1}f:\mathcal{X}\rightarrow \{0,1\}f:X→{0,1}，且有LD(f)=

论文方法L(θ)=LS(θ)+λ⋅∥∇θLS(θ)∥pL(\theta)=L_{\mathcal{S}}(\theta)+\lambda \cdot \|\nabla_\theta L_{\mathcal{S}}(\theta)\|_pL(θ)=LS​(θ)+λ⋅∥∇θ​LS​(θ)∥p​∥h(θ1)−h(θ2)∥2≤K⋅∥θ1−θ2∥2\|h(\theta_1)-h(\theta_2)\|_2\le K \cdot \|\theta_1 - \theta_2\|_2∥h(θ1​)−h(θ2​)∥2​≤

Eη[∥δN−FGSM∥22]=Eη∥η+α⋅sign(∇xℓ(f(x+η),y))∥22=E[∑i=1d(ηi+α⋅sign(∇(η)i))2]=∑i=1dEη[(ηi+α⋅sign(∇(η)i))2]=∑i=1dEη[(ηi+α⋅sign(∇(η)i))2∣sign(∇(η)i)=1]⋅Pη[sign(∇(η)i)=1]+∑i=1dEη[(ηi+α⋅sign(∇(η)i))2∣sign(∇(η)i)=−1]⋅Pη[sign(∇(η)i)=−1]=∑i=1d12kϵ∫−kϵkϵ(ηi+α)2dηi⋅Pη[

对抗子空间定理： 给定 g∈Rdg \in \mathbb{R}^{d}g∈Rd 和 α∈[0,1]\alpha \in[0,1]α∈[0,1]，最大数量为kkk的正交向量r1,r2,…,rkr_1,r_2,\ldots,r_kr1​,r2​,…,rk​ 满足∥ri∥2≤1\left\|r_{i}\right\|_{2} \leq 1∥ri​∥2​≤1，g⊤ri≥α⋅∥g∥2g^{\top} r_{i} \geq \alpha \cdot\|g\|_{2}g⊤ri​≥α⋅∥g∥2​的充要条件是k=mi

https://vincentherrmann.github.io/blog/wasserstein/

1 引言 深度神经网络极易受到对抗样本的攻击。防御对抗样本攻击一个直观有效的方式就是对抗训练比如Free adversarial training\mathrm{Free \text{ } adversarial\text{ } training}Free adversarial training和Fast adversarial training\mathrm{Fast \text{ } adversarial\text{ } training

 受NLP\mathrm{NLP}NLP中Transformer\mathrm{Transformer}Transformer扩展成功的启发，Vision Transformer\mathrm{Vision\text{ }Transformer}Vision Transformer又进一步体现了Transformer\mathrm{Transformer}Transformer在计算机视觉的重要性，它可以很好的地取代卷积操作。本文会详细讲解...

强化学习  强化学习注重智能体（agent）与环境之间的交互式学习：强化学习的数据集不是训练初始阶段就有的，而是来自智能体与环境交互才能获得；强化学习不追求单步决策的最优策略，而是追求与环境交互获得的长期累积奖励。强化学习需要从整体上衡量整个交互过程。智能体在做决策时，会更加偏向于历史交互中带来更多奖励的动作。同时正如发现这些动作一样，未曾选择的动作中可能蕴藏着更优的决策，这鼓励着智能体尝试未曾选择的动作。因此智能体需要平衡利用（exploitation）和探索（exploration）。马尔

QQQ-Learning\mathrm{Learning}Learning原理介绍  QQQ-Learning\mathrm{Learning}Learning是强化学习的算法之一，Q\mathrm{Q}Q-Learning\mathrm{Learning}Learning的主要目的就是学习状态动作价值函数的Q(s,a)Q(s,a)Q(s,a)，其中Q(s,a)Q(s,a)Q(s,a)表示的是在给定当前状态sss和采取动作aaa之后能够获得的收益期望。QQQ-Learning\mathrm{Learnin

策略改进 价值迭代法有两种形式，一种是利用状态动作价值函数的贝尔曼最优方程迭代求解状态动作矩阵QQQ，这也是俗称的QQQ-Learning\mathrm{Learning}Learning算法；另一种利用状态价值函数的贝尔曼最优方程迭代求解状态向量VπV_\piVπ​。利用价值迭代法状态向量VVV的贝尔曼最优迭代公式为：Vπ(k+1)(s)=max⁡a∈A∑s′∈Sp(s′∣s,a)[r(s,a,s′)+γVπ(k)(s)]V_\pi^{(k+1)}(s)=\max\limits_{a \in \mat

Transoformer详解，并附有pytorch源代码

from torchvision import datasets, transformsfrom torch.utils.data import DataLoader, Datasetimport torchimport torch.nn as nnimport torch.optim as optimimport torch.nn.functional as Fimport osclass CNN(nn.Module): def __init__(self): su

理论分析{L(xTadv,y)=L(xT−1adv,y)+(xTadv−xT−1adv)⋅∇L(xT−1adv,y)+O(∥xTadv−xT−1adv∥2)L(xT−1adv,y)=L(xT−2adv,y)+(xT−1adv−xT−2adv)⋅∇L(xT−2adv,y)+O(∥xT−1adv−xT−2adv∥2)L(xT−2adv,y)=L(xT−3adv,y)+(xT−2adv−xT−3adv)⋅∇L(xT−3adv,y)+O(∥xT−2adv−xT−3adv∥2)⋮L(x3adv,y)=L(x2adv

该文是我投稿于PaperWeekly的一篇文章，如果大家有什么问题想要跟我讨论，可以留言跟我一起交流。背景介绍BP（反向传播）是有Geffrey Hinton在1988年发表的论文《Learningrepresentations by back-propagating errors》中首次被提出来。该论文从题目到内容到参考文献一共2页半，Hitton也借此工作荣获2018年的图领奖。在深度学习领域，BP的重要程度在怎么强调也不为过，本文会从矩阵的视角对BP下进行详细的推导，为了更好的理解BP的工作原理