Max-Mahalanobis Linear Discriminant Analysis Networks

Pang T, Du C, Zhu J, et al. Max-Mahalanobis Linear Discriminant Analysis Networks[C]. international conference on machine learning, 2018: 4013-4022.

@article{pang2018max-mahalanobis,
title={Max-Mahalanobis Linear Discriminant Analysis Networks},
author={Pang, Tianyu and Du, Chao and Zhu, Jun},
pages={4013–4022},
year={2018}}

概

本文介绍了从最大化马氏距离的角度提出了一种defense.

主要内容

对于俩个分布来说, 区分样本属于哪一个分布, 最好的分类器就是贝叶斯分类, 特别的, 如果是高斯分布, 且协方差矩阵一致, 则其分类平面为
$$w^T(x-x_0)=0,$$
其中
$$w={\Sigma }^{-1}({\mu }_1-{\mu }_2),$$
$$x_0=\frac{1}{{\mu }_1+{\mu }_2}-\ln (\frac{P(w_1)}{P(w_2)})\frac{{\mu }_1-{\mu }_2}{\Vert {\mu }_1-{\mu }_2{\Vert }_{{\Sigma }^{-1}}^2}.$$
特别的, 当$\Sigma$为对角矩阵的时候, 其分类平面只与${\mu }_1-{\mu }_2$有关.

设一个混合高斯分布:
$$P(y=i)={\pi }_i,P(x|y=i)=\mathcal{N}({\mu }_i,\Sigma ),i\in [L]:=1,\dots ,L,$$
并定义
$${\Delta }_{i,j}:=[({\mu }_i-{\mu }_j{)}^T{\Sigma }^{-1}({\mu }_i-{\mu }_j){]}^{1/2}.$$

因为神经网络强大的拟合分布能力, 我们可以假设$\Sigma =I$(文中将\Sigma$分解, 然后用变量替换可以得到, 马氏距离在此情况下具有不变性, 我觉得不如直接这么解释比较实在).

设想, 从第i个分布中采样$x_{(i)}\sim \mathcal{N}({\mu }_i,I)$, 将$x_{(i)}$移动到与$j$类的分类平面的距离设为$d_{(i,j)}$,

定理: 如果${\pi }_i={\pi }_j$, 则$d_{(i,j)}$的期望为
$$\mathbb{E}[d_{(i,j)}]=\sqrt{\frac{2}{\pi }}\exp (-\frac{{\Delta }_{i,j}^2}{8})+\frac{1}{2}{\Delta }_{i,j}[1-2\Phi (-\frac{{\Delta }_{i,j}}{2})],$$
其中$\Phi$表示正态分布函数.

注意, 这里的$d_{i,j}$是$x$到分类平面的距离, 也就是说, 如果$x_{(i)}$如果本身就位于别的类中, 同样也计算这个距离, 不公平, 当然如果这么考虑, 证明起来就相当麻烦了.

如果定义
$$\mathrm{R}\mathrm{B}=\underset{i,j\in [L]}{\min }\mathbb{E}[d_{(i,j)}],$$
则我们自然希望$\mathrm{R}\mathrm{B}$越大越好(越鲁棒, 但是根据我们上面的分析, 这个定义是存在瑕疵的). 然后通过导数, 进一步发现
$$\mathrm{R}\mathrm{B}\approx \overline{\mathrm{R}\mathrm{B}}:=\underset{i,j\in [L]}{\min }{\Delta }_{i,j}/2.$$

有定理:

所以, 作者的结论就是, 最后一层
$$z_i={\mu }_i^{T}f(x)+b_i,$$
满足$(4)$, 为此作者设计了一个算法

去构造. 所以, 这最后一层的参数是固定不训练的. 余下的与普通的网络没有区别.