Softmax、L-Softmax、A-Softmax的整理对比

目录

Large-Margin Softmax Loss 

A-Softmax loss

附录

---

本文中对比了L-Softmax Loss 和A-Softmax loss两种变式，仅作为比较。对于两种损失函数的具体介绍见后期整理的论文笔记。

Large-Margin Softmax Loss 

Large-Margin Softmax Loss（L-softmax）是在ICML2016中提出的。Softmax的分类面只有一个面，而L-softmax在Softmax的基础上对W和x的角度引入正整数扩充m，使分类条件更加严苛，此时分类面变成了两个，并且两个面中间存在（m-1）倍角度的间隙，即命名中Large-Margin的由来。

不同m值的 L-softmax 和 Softmax 的区别

A-Softmax loss

Angular softmax (A-Softmax) 是在CVPR2017中提出的，应用在人脸识别任务中即称为SphereFace。A-Softmax类似于L-softmax，在原始Softmax的基础上不仅对角度添加m倍数的限制，还对A-Softmax上一层全连接层的W和b做出||W||=1和b=0两个限制。由此以来，A-Softmax的分类过程仅依赖于W和x之间的角度。下图为原始Softmax、添加了||W||=1和b=0限制的modified Softmax和添加了角度m限制以及W和b限制的A-Softmax的对比，每种loss的第一个图（a,c,e）是将二分类特征在坐标轴中画出来，第二个图（b,d,f）将特征映射到圆上，并用箭头画出了W。

Softmax(a,b)、modified Softmax(c,d) 以及 A-Softmax(e,f) 的对比

 

附录

参考博客：

https://blog.csdn.net/u014380165/article/details/77284921

http://www.cnblogs.com/heguanyou/p/7503025.html

关于softmax，softmax loss以及BP：

http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/