关于Distributional Smoothing with Virtual Adversarial Training的理解

作者受之前Goodfellow的adversarial training的启发，提出了一种叫局部分布性平滑(LDS) 的方法，这是统计模型的一个新的光滑概念，可以用作正则化术语来促进模型分布的平滑。作者将基于LDS的正则化命名为虚拟对抗训练 (VAT)。
  下面简单介绍一下LDS：我们先固定模型的参数$\theta$，假设输入空间为$R^I$，输出空间为$Q$，以及一个训练样本集合：

$$\begin{equation}\nonumber D = \{(x^{(n)},y^{(n)}) \,|\, x^{(n)} \in R^I,y^{(n)} \in Q,n=1,\dots,n \} \end{equation}$$
然后利用数据集$D$，通过参数$\theta$去训练模型分布$p(y \,|\, x,\theta)$。用$KL[p||q]$表示分布$p$和分布$q$的KL-散度。同时，我们定义：

$$\begin{equation}\nonumber \begin{aligned} \Delta_{KL}(r,x^{(n)},\theta) &= KL[p(y \,|\, x^{(n)},\theta) || p(y \,|\, x^{(n)}+r,\theta)] \\ r_{v-adv}^{(n)} &= \arg\max_{r} \{\Delta_{KL} (r,x^{(n)},\theta);||r||\leq \epsilon\} \end{aligned} \end{equation}$$
我们记 $r^{(n)}_{v-adv}$为第 $n$的样本的模拟对抗扰动。因此模型分布在$x^{(n)}$处的局部分布平滑为：
$$\begin{equation}\nonumber LDS(x^{(n)},\theta) = -\Delta_{KL}(r_{v-adv}^{(n)},x^{(n)},\theta) \end{equation}$$
因此， $r^{(n)}_{v-adv}$实际上是模型分布 $p(y\,|\, x^{(n)},\theta)$在KL散度的意义上最为敏感的方向。在某种程度上，这是模型分布相对于输入的梯度 $\nabla_x$的KL散度近似，并且 $x$在该方向上的扰动最大程度的破坏了概率分布$p(y\,|\,x^{(n)},θ)$的局部平滑性。 $\Delta_{KL}(r_{v-adv}^{(n)},x^{(n)},\theta)$的值越小， $p(y\,|\,x^{(n)},θ)$在 $x^{(n)}$处越平滑。我们的目标是在输入样本的邻域提升模型的平滑度，即目标函数（最大化）为：
$$\begin{equation}\nonumber {1 \over N}\sum_{n=1}^N \log p(y^{(n)} \,|\, x^{(n)},\theta) + \lambda {1 \over N} \sum_{n=1}^N LDS(x^{(n)},\theta) \end{equation}$$
如果我们定义 $r^{(n)}_{adv} =\arg\min_r \{p(y^{(n)} \,|\, x^{(n)}+r,\theta),||r||_p \leq \epsilon \}$，并且用 $\log(y^{(n)} \,|\, x^{(n)}+r^{(n)}_{adv},\theta)$代替 $-\Delta_{KL}(r_{v-adv}^{(n)},x^{(n)},\theta)$，那么这就变成了Goodfellow的对抗训练的目标函数。而根据 $r^{(n)}_{adv}$生成的对抗样本几乎都能够很大程度的影响目标函数的概率分布，因此这很适用于半监督模型。
举一个例子，对于一个线性回归模型 $p(y \,|\, x,\theta)=\mathcal{N}(\theta^T x,\sigma^2)$，它的LDS为：
$$\begin{equation}\nonumber LDS(x,\theta) = - {1 \over 2 \sigma^2} \epsilon^2 ||\theta||_2^2 \end{equation}$$
具体推导如下：
$$\begin{equation}\nonumber \begin{aligned} KL[p(y \,|\, x^{(n)},\theta) || p(y \,|\, x^{(n)}+r,\theta)] &= \int_{-\infty}^{+\infty} p(y \,|\, x^{(n)},\theta) {p(y \,|\, x^{(n)},\theta) \over p(y \,|\, x^{(n)}+r,\theta)} dy \\ &= \int_{-\infty}^{+\infty} {1 \over \sqrt{2\pi}\sigma} e^{-{(y-\theta^Tx)^2 \over 2\sigma^2}} -{(y-\theta^Tx)^2+(y-\theta^Tx-\theta^Tr)^2 \over 2\sigma^2} dy \\ &= \int_{-\infty}^{+\infty} {1 \over \sqrt{2\pi}\sigma} e^{-{(y-\theta^Tx)^2 \over 2\sigma^2}} -{\theta^Tr(2y-2\theta^Tx - \theta^Tr) \over 2\sigma^2} dy \\ &= \theta^Tr \int_{-\infty}^{+\infty} {1 \over \sqrt{2\pi} \sigma} - {y \over \sigma^2} e^{-(y-\theta^Tx)^2 \over 2\sigma^2} dy + {\theta^T r(2\theta^Tx+\theta^Tr) \over 2\sigma^2} \\ &= \theta^Tr \int_{-\infty}^{+\infty} \Big({1 \over \sqrt{2\pi} \sigma} e^{-(y-\theta^Tx)^2 \over 2\sigma^2}-{1 \over \sqrt{2\pi} \sigma} {\theta^Tx \over \sigma^2}e^{-(y-\theta^Tx)^2 \over 2\sigma^2} \Big)dy + {\theta^T r(2\theta^Tx+\theta^Tr) \over 2\sigma^2} \\ &= \theta^Tr(- {\theta^Tx \over \sigma^2}) + {\theta^T r(2\theta^Tx+\theta^Tr) \over 2\sigma^2} \\ &= {(\theta^T r)^2 \over 2\sigma^2} = {{||\theta||_2^2 \epsilon^2} \over 2\sigma^2} \end{aligned} \end{equation}$$
这和 $L_2$范数的正则化是一样的，但是如果概率模型为 $p(y \,|\, x,\theta)=\mathcal{N}({\theta^3}^T x,\sigma^2)$，那么我们有 $LDS(x,\theta^3) \propto - \sigma^2 ||\theta^3||_2^2$。如果对于逻辑回归模型 $p(y=1 \,|\, x,\theta) = \sigma(\theta^Tx) = (1+\exp(-\theta^Tx))^{-1}$，我们有
$$\begin{equation}\nonumber LDS(x,\theta) \simeq -{1 \over 2} \sigma(\theta^Tx) \big(1-\sigma(\theta^Tx)\big)\epsilon^2||\theta||_2^2 \end{equation}$$
这是对 $\theta^T r$泰勒展开得到的：
$$\begin{equation}\nonumber \begin{aligned} KL[p(y \,|\, x^{(n)},\theta) || p(y \,|\, x^{(n)}+r,\theta)] &={1 \over {1+e^{-\theta x}}}\log{{1+e^{-\theta^Tx-\theta^Tr}} \over {1+e^{-\theta x}}} +{1 \over {1+e^{\theta x}}}\log{{1+e^{\theta^Tx+\theta^Tr}} \over {1+e^{\theta x}}} \\ &= -{e^{-\theta^T x} \over (1+e^{-\theta x})^2} \theta^T r -{1\over 2}{e^{-\theta^T x} \over (1+e^{-\theta x})^3} (\theta^T r)^2 + {e^{\theta^T x} \over (1+e^{\theta x})^2} \theta^T r +{1\over 2} {e^{\theta^T x} \over (1+e^{\theta x})^3} (\theta^T r)^2 \\ &= {1 \over 2} {e^{-\theta^T x} \over (1+e^{-\theta^T x})^2} (\theta^T r)^2 \\ &= -{1 \over 2} \sigma(\theta^Tx) \big(1-\sigma(\theta^Tx)\big)\epsilon^2||\theta||_2^2 \end{aligned} \end{equation}$$
关于扰动向量的计算，作者也选择泰勒展开近似计算，由于 $\Delta_{KL}(r,x,\theta)$在 $r=0$处有最小值 $0$，因此，对于$r$的一阶微分也等于 $0$：$\nabla_r \Delta_{KL}(r,x,\theta)|_{r=0}$是 $0$。因此我们选择二阶泰勒展开近似计算：
$$\begin{equation}\nonumber \Delta_{KL}(r,x,\theta) \simeq {1 \over 2} r^T H(x,\theta) r \end{equation}$$
其中 $H(x,\theta)$是Hessian矩阵，即 $H(x,\theta)=\nabla\nabla_r \Delta_{KL}(r,x,\theta)|_{r=0}$。在这种近似下， $r_{v-adv}^{(n)}$作为 $H(x,\theta)$的第一个特征向量 $u(x,\theta)$出现，并且值为 $\epsilon$。（二次型在单位元上的最大值和最小值分别对应其最大特征值和最小特征值，此时 $r$等于其对应的特征向量，这个具体的证明将Hermite矩阵正交对角化）。因此$r_{v-adv}^{(n)}$可以近似求解为：
$$\begin{equation}\nonumber \begin{aligned} r_{v-adv}(x,\theta) &\simeq \arg\max_{r} \{r^TH(x,\theta)r; ||r||_2 \leq \epsilon\} \\ &= \epsilon \overline{u(x,\theta)} \end{aligned} \end{equation}$$
其中 $\overline{\cdot}$表示的是将任意一个非零向量 $v$投影为其方向向量对应的单位向量$\overline{v}$。
然而特征值计算是一个 $O(n^3)$计算复杂度的过程，因此作者提出用幂迭代法(power iteration method)和有限差分法(finite difference method)来计算 $r_{v-adv}$。设 $d$是一个随机抽样的单位矢量。 只要$d$不与主特征向量 $u$垂直，则迭代计算
$$\begin{equation}\nonumber d \leftarrow \overline{Hd} \end{equation}$$
会使 $d$收敛于$u$。 此外，我们不需要直接计算 $H$，而是近似为有限差分
$$\begin{equation}\nonumber \begin{aligned} Hd &\simeq {\nabla_r \Delta_{KL}(r,x,\theta)|_{r=\epsilon d} -\nabla_r \Delta_{KL}(r,x,\theta)|_{r=0} \over \xi} \\ &={\nabla_r \Delta_{KL}(r,x,\theta)|_{r=\epsilon d} \over \xi} \end{aligned} \end{equation}$$
这里我们再次利用了 $\nabla_r \Delta_{KL}(r,x,\theta)|_{r=0}=0$，因此我们就得到了 $d$的更新公式：
$$\begin{equation}\nonumber d \leftarrow \overline{\nabla_r \Delta_{KL}(r,x,\theta)|_{r=\epsilon d}} \end{equation}$$
具体的实验，评估就省略了，我们主要用这种方式来生成对抗样本，也能产生很好的效果。