softmax层_AM-Softmax

回顾一下Angular Softmax ( A-softmax ) ，它是以乘法的方式合并angular margin(角度间隔)

从上式中的

可以看出，m乘以目标角

。所以这种类型的损失函数称为：

乘性Margin Softmax

本文讲述的AM-Softmax提出了一种更具解释性的方法：将angular margin(角度间隔)引入到softmax loss中，提出一个新的margin。这个margin是用

减去

，所以称之为：

加性Margin Softmax。它比 A-softmax 更简单（加法比乘法简单）和具有更好的性能。

在讲述AM-Softmax之前，有必要先讲一下Angular Softmax中的

代表什么，有什么用。

1. Angular Softmax中

的定义

original Softmax Loss公式：

其中

是最后一个完全连接层的输入（

表示第

个样本），

是最后一个完全连接层参数矩阵

的第

列。

也称为第

个样本的

target logit (目标逻辑)。

A-softmax loss公式：

作者提出了归一化权重向量

&#x