史上最全MNIST系列（四）——Arcfaceloss在MNIST上的Pytorch实现（可视化）

一、理论

二、损失

arcfaceloss根据softmax演化而来，了解演变史

2.1 softmax loss

2.2 A-Softmax loss

Angular softmax (A-Softmax) 是在CVPR2017中提出的，应用在人脸识别任务中即称为SphereFace。
简单讲：A-Softmaxloss是一种增加角度乘积系数的方式来增大角度分类的。在原始Softmax的基础上不仅对角度添加m倍数的限制，还对A-Softmax上一层全连接层的权值W和偏置bias做出||W||=1和bias=0两个限制。

2.3 AM-softmax loss

简单讲：AM-softmaxloss是用减小相似度系数的方式来增大相连之间的距离。对x进行归一化，乘上缩放系数，最终损失函数变为：

2.4 Arcface-softmax loss</