基于共轭梯度法的对抗攻击

1 引言

 深度学习模型容易受到对抗样本的攻击，尽管基于最速下降的现有方法已经取得了很高的攻击成功率，但优化的病态问题偶尔会降低它们的攻击性能。为了解决这个问题，在该论文中作者借鉴对此类问题有效的共轭梯度方法，并提出了一种基于共轭梯度法方法新的对抗攻击算法。其实在大学的最优化课程里，会涉及学到最速下降法，共轭梯度法 ，以及拟牛顿法。作者很好的将共轭梯度法应用到了对抗攻击中去。实验结果表明，对于大多数模型，论文提出的方法比现有的SOTA算法能够以更少的迭代次数找到更优的对抗样本，而且论文所提出方法的更多样化的搜索显著提高了对抗攻击的成功率。

论文链接： https://arxiv.org/abs/2206.09628
论文代码： https://github.com/yamamura-k/ACG

2 对抗攻击

 令局部可微函数$g:\mathcal{D}\subseteq {\mathbb{R}}^m\to {\mathbb{R}}^K$是一个$K$类分类器，分类标签为$\arg \underset{k}{\max }(g_k(\cdot ))$。样本${\mathbf{x}}_{\mathrm{orig}}\in \mathcal{D}$被分类器$g$分类为$c$。给定距离函数$d(\cdot ,\cdot )$和扰动大小$\epsilon >0$，对抗攻击可行域被定义为 S = { x ∈ D ∣ d ( x o r i g , x ) ≤ ε } \mathcal{S}=\{\boldsymbol{x}\in \mathcal{D}|d(\boldsymbol{x}_{\mathrm{orig}},\boldsymbol{x})\le \varepsilon\} S={x∈D∣d(xorig​,x)≤ε}，对抗样本${\mathbf{x}}_{\mathrm{adv}}$定义为$$\arg \underset{k}{\max }{g}_k({\mathbf{x}}_{\mathrm{adv}})\ne c,d({\mathbf{x}}_{\mathrm{orig}},{\mathbf{x}}_{\mathrm{adv}})\le \epsilon$$令$L$为查找对抗样本${\mathbf{x}}_{\mathrm{adv}}$的目标函数。对抗攻击的数学形式如下所示：$$\underset{\mathbf{x}\in \mathcal{D}}{\max }L(g(\mathbf{x}),c)s.t.d({\mathbf{x}}_{\mathrm{orig}},\mathbf{x})\le \epsilon$$上述公式使样本$\mathbf{x}$对分类器$g$分类成$c$类的区分度降低。一般情况下，对抗攻击使用的距离有两种，分别是欧氏距离$d(\mathbf{v},\mathbf{w}):=\Vert \mathbf{v}-\mathbf{w}{\Vert }_2$，均匀距离$d(\mathbf{v},\mathbf{w}):=\Vert \mathbf{v}-\mathbf{w}{\Vert }_{\infty }$且$\mathcal{D}=[0,1{]}^m$。

 PGD攻击是对抗攻击中非常重要的一种方法。给定分类器$f:{\mathbb{R}}^m\to \mathbb{R}$，PGD生成的对抗样本数学形式为${\mathbf{x}}^{(k+1)}=P_{\mathcal{S}}({\mathbf{x}}^{(k)}+{\eta }^{(k)}\nabla f({\mathbf{x}}^{(k)}))$，其中${\eta }^{(k)}$对抗扰动的步长，$P_{\mathcal{S}}$将样本投影到可行域$\mathcal{S}$的操作。APGD攻击是PGD攻击的改进版，其在迭代过程中引入动量操作。令${\mathbf{\delta }}^{(\mathbf{k})}$为每一步迭代攻击的方向（即$\nabla f({\mathbf{x}}^k)$），APGD攻击具体形式如下所示：
$$\begin{array}{rl}{\mathbf{z}}^{\prime (k+1)}& ={\mathbf{x}}^{(k)}+{\eta }^{(k)}\sigma ({\mathbf{\delta }}^{(k)})\\ {\mathbf{z}}^{(k+1)}& =P_{\mathcal{S}}({\mathbf{z}}^{\prime (k)})\\ {\mathbf{x}}^{(k+1)}& =P_{\mathcal{S}}({\mathbf{x}}^{(k)}+\alpha ({\mathbf{z}}^{(k+1)}-{\mathbf{x}}^{(k)})+(1-\alpha )({\mathbf{x}}^{(k)}-{\mathbf{x}}^{(k-1)}))\end{array}$$其中$\sigma$表示为正则化的一种方式，$\alpha$是动量的强度系数，一般情况下取$\alpha =0.75$。

3 共轭梯度攻击

 共轭梯度法一般用于求解线性问题，之后又被延伸用于求解最小化凸二次型问题和一般的非线性问题。共轭梯度法可以用在无约束和投影有约束问题中。给定一个初始点${\mathbf{x}}^{(0)}$，初始共轭梯度${\mathbf{s}}^0$被设置为$0$，第$k$次搜索点${\mathbf{x}}^{(k)}$和共轭梯度${\mathbf{s}}^{(k)}$被更新为 s ( k ) = − ∇ f ( x ( k ) ) + β ( k ) s ( k − 1 ) η ( k ) = arg min ⁡ { f ( x ( k ) + η s ( k ) ) ∣ η ≥ 0 } x ( k + 1 ) = x ( k ) + η ( k ) s ( k ) \begin{aligned}\boldsymbol{s}^{(k)}&=-\nabla f(\boldsymbol{x}^{(k)})+\beta^{(k)}\boldsymbol{s}^{(k-1)}\\\eta^{(k)}&=\argmin\{f(\boldsymbol{x}^{(k)}+\eta \boldsymbol{s}^{(k)})|\eta \ge 0\}\\\boldsymbol{x}^{(k+1)}&=\boldsymbol{x}^{(k)}+\eta^{(k)}\boldsymbol{s}^{(k)}\end{aligned} s(k)η(k)x(k+1)​=−∇f(x(k))+β(k)s(k−1)=argmin{f(x(k)+ηs(k))∣η≥0}=x(k)+η(k)s(k)​其中$k\ge 1$，${\beta }^{(k)}$是从过去的搜索信息中计算出来的参数。${\eta }^{(k)}$通常由满足类似于Wolfe条件线性搜索所决定的，因为求解以下问题比较困难 η ( k ) = arg min ⁡ { f ( x ( k ) + η s ( k ) ) ∣ η ≥ 0 } \eta^{(k)}=\argmin\{f(\boldsymbol{x}^{(k)}+\eta \boldsymbol{s}^{(k)})|\eta \ge 0\} η(k)=argmin{f(x(k)+ηs(k))∣η≥0}考虑最小化一个严格二次型凸函数问题$$f(\mathbf{x})={\mathbf{x}}^{\top }A\mathbf{x}+{\mathbf{b}}^{\top }\mathbf{x}$$其中$A$是一个正定矩阵，$\mathbf{x}\in {\mathbb{R}}^n$。在这种情况下，系数${\beta }^{(k)}$的计算公式为$${\beta }^{(k)}=\frac{⟨A{\mathbf{s}}^{(k-1)},-\nabla f({\mathbf{x}}^{(k)})⟩}{⟨A{\mathbf{s}}^{(k-1)},{\mathbf{s}}^{(k-1)}⟩}$$当目标函数是严格凸函数的时候，则由共轭梯度法可知，在少于$n$次迭代即能找到全局最优解。
 对于非线性问题，有一些计算系数${\beta }^{(k)}$公式被提出来，在该论文中作者使用系数计算公式如下所示：$${\beta }_{HS}^{(k)}=\frac{⟨\nabla f({\mathbf{x}}^{(k)},{\mathbf{y}}^{(k-1)})⟩}{⟨{\mathbf{s}}^{(k-1)},{\mathbf{y}}^{(k-1)}⟩}$$其中${\mathbf{y}}^{(k-1)}=\nabla f({\mathbf{x}}^{(k-1)})-\nabla f({\mathbf{x}}^{(k)})$，且${\beta }^{(k)}\ge 0$，也会使用 max ⁡ { β ( k ) , 0 } \max\{\beta^{(k)},0\} max{β(k),0}来代替${\beta }^{(k)}$。论文提出的ACG算法的具体形式如下所示：$$\begin{array}{rl}{\mathbf{y}}^{(k-1)}& =\nabla f({\mathbf{x}}^{(k-1)})-\nabla f({\mathbf{x}}^{(k)})\\ {\beta }_{HS}^{(k)}& =\frac{⟨-\nabla f({\mathbf{x}}^{(k)}),{\mathbf{y}}^{(k-1)}⟩}{⟨{\mathbf{s}}^{(k-1)},{\mathbf{y}}^{(k-1)}⟩}\\ {\mathbf{s}}^{(k)}& =\nabla f({\mathbf{x}}^{(k)})+{\beta }_{HS}^{(k)}{\mathbf{s}}^{(k-1)}\\ {\mathbf{x}}^{(k+1)}& =P_{\mathcal{S}}\left({\mathbf{x}}^{(k)}+{\eta }^{(k)}\cdot \sigma ({\mathbf{s}}^{(k)})\right)\end{array}$$其中攻击步长的搜索算法如下所示：
$$\begin{array}{rl}(\mathrm{I})& N_{\mathrm{inc}}<\rho \cdot (w_j-w_{j-1})\\ (\mathrm{II})& {\eta }^{(w_j-1)}={\eta }^{(w_j)}\mathrm{and}{f}_{\max }^{(w_{j-1})}=f_{\max }^{(w_j)}\end{array}$$

• 条件$(\mathrm{I})$表示的是增长点对应的目标函数的个数小于某个阈值时，则局部最大值点有很大概率在该区间产生。具体如下图示实例所示：
  
• 当某个间断点的函数值陡然升高并陡然降低时，则条件$(\mathrm{II})$也会有局部最大值点，具体实例如下图示实例所示：
  
  综上所述，最终的算法流程图如下所示：
  

4 论文理解

 论文作者提出的自动共轭梯度对抗攻击与原始的共轭梯度法有一些出入。对应于非线性优化问题，给定点${\mathbf{x}}^{(k)}$和共轭方向${\mathbf{s}}^{(k)}$，原始的共轭梯度法首先会在点${\mathbf{x}}^{(k)}$处沿着方向共轭方向${\mathbf{s}}^{(k)}$上搜索使目标函数最大化的下一个迭代点${\mathbf{s}}^{(k+1)}$，迭代步长即为${\eta }^{(k)}$对于正定二次型问题，以上步长是可以直接求解出来的；对于非线性问题可以通过线性搜索或者其它搜索算法求得 。然后再求得共轭方向${\mathbf{s}}^{(k+1)}$。而在该论文中，作者直接给出迭代步长和搜索间断点集合，然后随着迭代的进行在迭代间断点处不断缩小对抗扰动${\eta }^{(k)}$的大小，从而最终求得最优对抗扰动。如果按照原始的共轭梯度法，基于共轭梯度法的对抗攻击的算法流程可以更改为如下所示：

• step 0： 给定初始点${\mathbf{x}}^{(0)}$，神经网络$f$，可行域$\mathcal{S}$，记初始的共轭梯度方向为${\mathbf{s}}^{(0)}=\nabla f({\mathbf{x}}^{(0)})$
• step 1： 通过线性搜索在共轭方向${\mathbf{s}}^{(k)}$上搜索攻击步长${\eta }^{(k)}\in [0,1]$，使得 η ( k ) = arg ⁡ min ⁡ { f ( x ( k ) + η ( k ) ⋅ s ( k ) ) } \eta^{(k)}=\arg\min\{f(\boldsymbol{x}^{(k)}+\eta^{(k)}\cdot \boldsymbol{s}^{(k)} )\} η(k)=argmin{f(x(k)+η(k)⋅s(k))}
• step 2： 求得第$k+1$步的对抗样本${\mathbf{x}}^{k+1}$为$${\mathbf{x}}^{(k+1)}=P_{\mathcal{S}}\left({\mathbf{x}}^{(k)}+{\eta }^{(k)}\cdot \sigma ({\mathbf{s}}^{(k)})\right)$$
• step 3: 令$k=k+1$，并转到step 1中去。

5 实验结果

 如下表所示为论文方法ACG与其它基于梯度方法APGD在CIFAR10数据集的攻击成功率。可以直观的发现，ACG的攻击成功率均高于APGD的攻击成功率。这些结果表明，无论使用的数据集或模型的架构如何，ACG 都表现出更高的攻击性能。此外，ACG方法不依赖随机数来选择初始点，因为初始点是可行区域的中心，由此可知，ACG 仅在确定性操作上优于要优于APGD。

 下图显示了APGD和ACG上两个连续搜索点之间的2范数的转换情况。可以观察到 ACG 的搜索点比APGD 的搜索点移动得更远。 此外，为了研究投影对APGD的影响，作者还计算了两个搜索点之间行进距离的比率，它表示投影浪费的更新距离量。与ACG相比，APGD 在行进距离中表现出更高的投影比率。由于引入了共轭方向，ACG比APGD移动得更多。

 下图为共轭梯度攻击搜索多模态函数的可视化实例。初始搜索点由白星表示，搜索以白色方块结束。圆圈代表搜索点。黑色圆圈表示搜索多样化，白色圆圈表示搜索强度。左图中的“A”到“F”表示局部最优，“E”表示全局最优。左侧和中间的示例分别是由于缺乏多样化或集约化而无法找到全局最优值的失败搜索。右侧的示例显示了由于多样化和集约化的适当平衡而成功找到全局最优值的搜索。下图显示了强化搜索、多样化搜索和适当搜索的可视化，展示了多样化和强化之间的适当平衡。从图中函数的等高线可以观察到六个局部解，其中“E”位置的局部解是全局最优解。

6 核心代码实例

 论文中提供了算法源码，其代码有些复杂，以下代码是根据论文的核心算法重新编写的较为简单的核心代码。

class ACG_attack(object):
	# Input_x shape : R^n
	def __init__(self, input_x, input_y, model, N_iter, W_set, eta):
		self.input_x = input_x
		self.input_y = input_y
		self.model = model
		self.eta = eta
		self.N_iter = N_iter
		self.W_set = W_set
		self.rho = rho

	def judgement(self, k, x_new, x_old, eta_list, loss_list):
		flag = False
		CE = nn.CrossEntropyLoss()
		count = 0 
		j = self.W_set.index(k)
		for i in range(self.W_set[j-1], k-1):
			y_new = self.model(x_new)
			y_old = self.model(x_old)
			if CE(y_new, self.input_y) > CE(y_old, self.input_y):
				count += 1
		if count < self.rho * (k - self.W_set[j-1]):
			flag = True
		if eta_list[k] == eta_list[self.W_set[j-1]] and loss_list[k] == loss_list[self.W_set[j-1]]:
			flag = True
		return flag

	def attack(self):
		eta_list = []
		loss_list = []
		nabla_list = []
		s_list = []
		input_shape = self.input_x.shape
		self.input_x.requires_grad = True
		CE = nn.CrossEntropyLoss()
		x_adv = self.input_x.view(-1)
		x_pre = self.input_x.view(-1)
		x_adv.requires_grad = True
		x_pre.requires_grad = True
		beta = 0
		eta_old = self.eta
		# Compute the graident of f w.r.t x
		y = model(x_pre)
		loss = CE(y, self.input_y)
		loss.backward()
		s_0 = self.input_x.grad.detach().view(-1)
		s_pre = s_0
		# Auto conjugate gradient method
		x_old = x_pre
		s_old = s_pre
		loss_list.append(loss)
		eta_list.append(self.eta)
		nabla_list.append(s_pre)
		s_list.append(s_pre)
		for k in range(self.N_iter):
			x_new = torch.clamp( x_old + eta_pre * torch.sign(s_old) , 0, 1)
			x_new.requires_grad = True
			y_new = self.model(x_new)
			y_adv = self.model(x_adv)
			loss_new = CE(y_new, self.input_y)
			loss_old = CE(y_adv, self.input_y)
			loss_new.backward()
			loss_list.append(loss_new)
			y_list = []
			if CE(y_new, self.input_y) > CE(y_adv, self.input_y):
				x_adv = x_new
				x_pre = x_old
				s_pre = s_old
			eta_new = eta_old
			eta_list.append()
			nabla_list.append(x_new.grad.data)
			if k in self.W_set[1:]:
				if self.judgement(k, x_new, x_old, eta_list, loss_list):
					eta_new = eta_old / 2 
					eta_list[-1] = eta_new
					x_new = x_adv 
					x_old = x_pre
					s_old = s_pre
			y_list.append(nabla_list[-1].view(-1)-nabla_list[-2].view(-1))
			beta = torch.dot(-nabla_list[-1].view(-1), y_list[-1].view(-1))/(torch.dot(s_list[-1].view(-1)), y_list[-1].view(-1))
			beta_list = beta
			s_new = nabla_list[-1] + beta * s_list[-1]
			s_list.append(s_new)
	return x_adv

生词总结

diversified：使多样化
renders：呈现
discriminative：有区别度的