MixUp as Locally Linear Out-of-Manifold Regularization论文阅读笔记

MixUp as Locally Linear Out-of-Manifold Regularization

问题

MixUp方法会对一对输入的图像和其标签分别进行混合
$$\begin{gathered} \hat{x}=\lambda x+(1-\lambda )x^{\prime } \\ \hat{y}=\lambda y+(1-\lambda )y^{\prime } \end{gathered}$$
作者发现，有时混合数据$\hat{x}$会与已存在的数据特别类似，但此时他的标签是混合标签$\hat{y}$， 由此就会造成分类器的混乱，从而让其性能下降，作者称该状况为’流形入侵(manifold intrusion)’。

解决方案

引入两个神经网络$\pi (\cdot )$和$\phi (\cdot )$分别用来生成混合所用的系数$\lambda$和判断新混合的数据是否造成流形入侵，因为其混合所用的系数是自适应生成的，故该方法称为AdaMix。

方法详解

符号

$\chi$：全部的数据空间

${\rm Y}$：全部的数据标签空间

$\mathrm{M}$：流形空间

$g(x)$：将$\mathrm{M}$的$x$映射到${\rm Y}$空间的方程

$D$：$\mathrm{M}$的子集

$P({\rm Y})$：标签的分布

$F(\chi ,{\rm Y})$：映射方程组

$H$：$F(\chi ,{\rm Y})$的子集

${\delta }_y$：在y位置置1，即为one-hot-label

$\Lambda$：混合策略空间，$\Lambda \subseteq {\mathbb{S}}_k$

${\Omega }^{(k)}$：定义了有$k$个列数据的矩阵，同理$M^{(k)},D^{(k)}$

Adaptive MixUp(AdaMixUp)

定义一个网络${\pi }_k(\cdot )$用来生成$k$个输入的混合策略，并将其写为${\Lambda }^{\ast }(X)$，其中$X$是输入的$k$个数据组成的列矩阵，且${\Lambda }^{\ast }(X)\subseteq {\mathbb{S}}_k$

定义另一个网络$\phi (\cdot )$用来进行二分类，目的是预测混合后的数据是否属于流形入侵，若是则分为0类，否则为1，作者称其为入侵鉴别器

使用“intrusion loss”来训练鉴别器
$$L_{intr}:=\frac{1}{k_{max}-1}\sum _{k=2}^{k_{max}}{E}_{X\sim D^k,\lambda \sim {\pi }_k(X)}\log p(1|X\lambda ;\phi )+E_{x\sim D}\log p(0|x;\phi )$$
最后，全部的loss方程为：
L t o t a l : = L D ( H ) + L D ′ ( H , { π k } ) + L i n t r ( { π k } , φ ) L_{total}:=L_{D}(H)+L_{D'}(H,\{\pi_{k}\})+L_{intr}(\{\pi_{k}\}, \varphi) Ltotal​:=LD​(H)+LD′​(H,{πk​})+Lintr​({πk​},φ)
其中$L_D$和$L_{D^{\prime }}$分别是对原始数据和混合数据的交叉熵损失。

应用

在实际使用中，作者只使用了k=2的模式，对用大于2的情况，就将前$k-1$列数据看成一个整体与最后一列数据做$k=2$模式的操作即可。