1. softmax指示的改进空间 首先回顾一下softmax的公式: 其中, 是m维特征向量, 是由特征向量生成的logits,共有K类。 指数函数 单调递增,因此,logits越大,相应类输出置信度 也越大。于是有,softmax依据logits大小做决策。 假设有两类输出, 和 ,自然是选择值更大的那个,决策边界为: ,写成向量内积形式: ,即 softmax只有一个决策边界,如果 和 之间的夹角比较小,位于它们之间的特征 就容易在类别1和类别2之间混淆。下面的损失函数,就是通过给决策边界加margin,拉大