Large-Margin Softmax Loss

最新推荐文章于 2024-10-10 08:47:23 发布

叫什么就是什么

最新推荐文章于 2024-10-10 08:47:23 发布

阅读量573

点赞数

分类专栏： deeplearning 文章标签： Large-Margin Softmax Loss deep learning

本文链接：https://blog.csdn.net/qq_24548569/article/details/89708728

版权

L-Softmax Loss是一种增强深度学习模型类内紧凑性和类间间隔的方法，通过引入更大的分类间隔来提高分类准确性。它修改了原始Softmax Loss，确保在二分类问题中，正确类别的特征与决策边界的夹角大于其他类。L-Softmax Loss的几何解释显示了其增加的分类边界，从而改善特征分布的紧凑性和类别间隔。实验表明，随着m值的增加，不同类别的特征角间隔增大，类内特征更加紧凑。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Large-Margin Softmax Loss

前言

前言
Large-Margin Softmax Loss也是为了提高类内特征的紧凑性，拉大类间特征的间隔（intra-class compactness and inter-class separability）而提出来的。

Large-Margin Softmax Loss¹

该论文提出了一个增大类间特征间隔的softmax loss。

定义深度网络模型提取出来的特征为 $\mathbf{x}_i$ ，softmax损失函数为
$\frac{1}{N} \sum_{i} L_i = \frac{1}{N} \sum_i - \log \left (\frac{e^{\mathbf{w}_{y_i}^T \mathbf{x}_i}}{\sum_{j} e^{\mathbf{w}_{j}^T \mathbf{x}_i}} \right)$
这里忽略偏置b。样本i的类别j的分数由 $\mathbf{w}_j^T \mathbf{x}_i$ 决定，这是一个内乘操作，所以可以说类别j的分数由向量 $\mathbf{w_j}$ 和 $\mathbf{x}_i$ 的相似度决定，二者的相似度越大，分数越高，样本i越有可能属于类别j。内乘操作可以写成向量模和夹角余弦的乘积形式，如下：
$\mathbf{w}_j^T \mathbf{x}_i = \lVert \mathbf{w}_j \rVert \lVert \mathbf{x}_i \rVert \cos(\theta_j)$