Gaussian Mixture Loss

Gaussian Mixture Loss

前言

该论文思考了深度神经网络提取的特征与类别之间的关系，假设学习到的特征服从高斯混合分布，提出了高斯混合损失函数，同时提高了特征的类内紧凑性和类间可分离性（intra-class compactness and inter-class separability）。

Gaussian Mixture Loss ¹

假设：特征服从高斯混合分布。
有K个类别，每个类别出现的概率为$p(k)$，类别k出现特征x的概率是$p(x|k)$，则特征x的概率为
$$p(x)=\sum _{k=1}^{K}p(x|k)p(k)$$
假设概率$p(x|k)$服从正态分布，${\mu }_k$为均值，${\Sigma }_k$为协方差矩阵，则
$$p(x)=\sum _{k=1}^K\mathcal{N}(x;{\mu }_k,{\Sigma }_k)p(k)$$
特征x对应的类别为$z\in [1,K]$，特征x属于类别z的后验概率为
$$p(z|x)=\frac{p(x|z)p(z)}{{\sum }_{k=1}^{K}p(x|k)p(k)}=\frac{\mathcal{N}(x;{\mu }_z,{\Sigma }_z)p(z)}{{\sum }_{k=1}^K\mathcal{N}(x;{\mu }_k,{\Sigma }_k)p(k)}$$
从这个公式，我们可以得到结论：x越靠近类别中心${\mu }_z$，$p(z|x)$的值就越大。

因此，分类损失函数为
$${\mathcal{L}}_{cls}=-\frac{1}{N}\sum _{i=1}^N\log \frac{\mathcal{N}(x_i;{\mu }_{z_i},{\Sigma }_{z_i})p(z_i)}{{\sum }_{k-1}^K\mathcal{N}(x_i;{\mu }_k,{\Sigma }_k)p(z_i)}$$

单单优化上面的分类损失不能使提取出来的训练特征趋向于高斯混合分布。例如，一个特征$x_i$可以原理对应类别的中心${\mu }_{z_i}$，同时可以被正确分类，只要特征$x_i$相对于其他类别中心更靠近${\mu }_{z_i}$。为了解决这个问题，作者添加了一个似然正则化项（likelihood regularization term）
$$p(X,Z|\mu ,\Sigma )=\prod _{i=1}^N\mathcal{N}(x_i;{\mu }_{z_{}}$$