论文笔记 | Large-Margin Softmax Loss for Convolutional Neural Networks

出处：ICML 2016
论文：http://proceedings.mlr.press/v48/liud16.pdf
代码：https://github.com/luoyetx/mx-lsoftmax

摘要：
交叉熵损失与softmax一起可以说是卷积神经网络（CNN）中最常用的监督组件之一。 尽管该组件具有简单性，流行性和出色的性能，但并未明确鼓励对功能进行辨别性学习。 本文提出了一个广义的large-margin softmax（L-Softmax）损失，它鼓励了学习特征之间的类内紧凑性和类间可分离性。此外，L-Softmax不仅可以调整所需的余量，还可以避免过拟合。L-Softmax还可以通过典型的随机梯度下降来优化，显着提高了各种视觉分类和验证任务的性能。

1 简介

最近学习具有更强大特征的趋势是通过更具辨别力的信息来强化CNN。 直观地说，如果它们的类内紧凑性和类间可分离性同时最大化，则学习的特征是好的。受这种想法的启发，提出了contrastive loss 和 triplet loss，以实现额外的类内紧凑性和类间可分离性。但是，训练样本对和三元组的数量可以达到O(N2)，对于大规模训练样本来选择好的训练对就成了很大的问题。
　　对于Large-Margin Softmax Loss的效果，先直观感受一下结果，后续再来分析：

2 相关工作

contrastive loss：需要给CNN输入一个样本对，如果是属于同一类别，要求它们直接的特征相近。反之则需要留较大的距离。
triplet loss：输入三元组样本，最小化 anchor 和 positive 样本的距离，最大化 anchor 和 negative 样本的距离
original softmax loss：
$$L=\frac{1}{N}\sum _{i}L{}_i=\frac{1}{N}\sum _i-log({\sum }_j{e}^{}$$