论文阅读|Beyond softmax loss: Intra-concentration and inter-separability loss for classification

主要观点

1. Softmax具有如下缺点：
   类间距离甚至会小于类内距离；
   对特征向量和权重向量的幅值不具有鲁棒性；
   不适合处理类样本不均衡的任务；
   没有拒绝错误样本的能力，该样本的标签没有被训练过；
   在极坐标下，难以添加margin；
   softmax函数$e^{s_i}/{\sum }_i^{e^{s}k}$的比值不是保持不变的，特征向量和权重向量会变得越来越大；

2. 提出intra-concentration and inter-separability loss (I2CS)，I2CS是建立在分式上的，分式的分子是特征与其类质心之间的欧氏距离，分母是每个类质心与其他质心之间的最小欧氏距离【为什么是分式的形式，而不是设置权重因子？】
   $${\mathcal{L}}_{I2CS}=\frac{d_{\text{intra }}}{d_{\text{inter }}}=\frac{{\sum }_{i=1}^K\frac{1}{N_i}{\sum }_{j=1}^{N_j}{\left(x_{ij}-c_i\right)}^2}{{\sum }_{i=1}^K{\min }_{r\ne i}{\left(c_i-c_r\right)}^2}$$

3. 避免了对一个通常很复杂的分式进行直接优化。在每次迭代中，用差分公式对辅助函数进行优化，并从理论上证明了新优化算法的收敛性。

4. 与LDA的区别：
   $${\mathcal{L}}_{LDA}=\frac{\frac{1}{K}{\sum }_{i=1}^K{\left(c_i-c_g\right)}^2}{{\sum }_{i=1}^K\frac{1}{N_i}{\sum }_{j=1}^{N_j}{\left(x_{ij}-c_i\right)}^2}$$
   注：这里需要使LDA最大化【作者就不能写倒数么？】
   I2CS最小化的是类质心与其他类质心的距离，而LDA是类质心到全局质心的距离；
   I2CS中的类质心是不断更新的，LDA是直接确定好的【事实上，LDA是在网络训练完成后进行，类质心已经很稳定了】
   I2CS就是LDA的神经网络版本

5. 直接添加margin是不行的，会破环分子分母的比例，因此本文的margin添加在
   $${\mathcal{L}}_{I2CS}^m=\frac{\gamma {\sum }_{i=1}^K\frac{1}{N_i}{\sum }_{j=1}^{N_j}{\left(x_{ij}-c_i\right)}^2}{{\sum }_{i=1}^K{\min }_{r\ne i}{\left(c_i-c_r\right)}^2}$$
   而不是使用
   $${\mathcal{L}}_{12CS}^m=\frac{{\sum }_{i=1}^K\frac{1}{N_i}{\sum }_{j=1}^{N_j}{\left(x_{ij}-c_i\right)}^2+\gamma }{{\sum }_{i=1}^K{\min }_{r\ne i}{\left(c_i-c_r\right)}^2}$$
   加性变乘性，其实也好理解，这里是分式损失函数，加性本就不便于计算【所以为什么不对分式损失函数取log变为加性运算？】

实验设计

• 图像分类(1:N)
• 人脸识别(1:1)
• 类不均衡学习：L-GM Loss性能不好的原因可能是，训练数据不足以估计高斯分布参数
• 异常点鲁棒性：这是“增大类间距，减小类内距”的通常优点
• 开集评估