b标签设置margin值没用_softmax loss加margin系列：增大类间距离

最新推荐文章于 2022-11-14 10:37:36 发布
最新推荐文章于 2022-11-14 10:37:36 发布
阅读量549 收藏
点赞数
文章标签： b标签设置margin值没用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42299018/article/details/112264343
版权
本文探讨了softmax损失函数的改进，重点介绍了大型margin在softmax损失中的应用，如Large-Margin Softmax Loss、A-Softmax (SphereFace)、L2-Constrained Softmax Loss以及Arcface等。这些方法通过增加类间距离，提升模型区分度，优化人脸识别的性能。
摘要由CSDN通过智能技术生成

1. softmax指示的改进空间

首先回顾一下softmax的公式：

其中，

是m维特征向量，
是由特征向量生成的logits，共有K类。

指数函数

单调递增，因此，logits越大，相应类输出置信度
也越大。于是有，softmax依据logits大小做决策。

假设有两类输出，

和
，自然是选择值更大的那个，决策边界为：

，写成向量内积形式：

，即

f8052cf120e70643c8201fa6885b724c.png

softmax只有一个决策边界，如果

和
之间的夹角比较小，位于它们之间的特征
就容易在类别1和类别2之间混淆。下面的损失函数，就是通过给决策边界加margin，拉大
最低0.47元/天 解锁文章
蛋丁蛋丝
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
统计学习方法——感知机
wuyameng的博客
12-08 552
基本模型 感知机1957年由Rosenblatt提出，是神经网络与SVM的基础。它是一个二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。 线性方程w⋅x+b=0对应于特征空间Rn中的一个超平面S，其中w是超平面的法向量，b是超平面的截距。超平面将特征空间划分为两个部分。位于两个部分的点（特征向量）分别被分为正负两类。 数据集的线性可分性 如果存在某个超平面w⋅x+b=0能将数据集的正实例点和负实例点完全正确地划分到超平面两侧，称数据集T为线性可分数据集。 损失函数的选择
Loss(三)-2017：Large-Margin Softmax Loss【Margin：角度分类边界之间的空白角度区域；增大该区域可提高分类精度；缺陷：无法处理W_i≠W_j情况，训练不稳定】
u013250861的博客
08-18 732
尽管传统的softmax在卷积网络作为最常用的监督学习组件，但是他不能促进判别性强的特征的学习，在这篇论文里面首先提出一种基于Margin的L-Softmax损失函数，可以明确地促使学习到的特征具有类内的紧凑性和类间的可分离性。此外L-Softmax不仅可以调节所需的Margin，还可以避免过拟合的发生。这个损失函数可以通过经典的随机梯度下降算法优化。Large-Margin Softmax Loss（L-Softmax Loss）是为了提高类内特征的紧凑性，拉大类间特征的间隔（intra-class co
统计机器翻译的Softmax-margin培训
03-09
培训程序在统计机器翻译（SMT）中非常重要。 它对翻译系统的最终性能有很大的影响。 SMT中广泛使用的方法是最小错误率训练（MERT）。 估计特征函数权重是有效的。 但是，MERT不使用正则化，并且已发现过拟合。 在本文中，我们描述了一种名为softmax-margin的方法，它是对max-margin训练的一种修改。 这种方法简单，高效且易于实施。 我们使用来自WMT共享任务的数据集进行工作。 与MERT相比，小规模法语-英语翻译任务的实验结果达到了竞争优势。
【机器学习基础】常见二分类损失函数、距离度量的Python实现
Oner.wv的专栏
11-25 486
本文用Python实现了常见的几种距离度量、二分类损失函数。设和为两个向量，求它们之间的距离。这里用Numpy实现，设和为ndarray <numpy.ndarray>，它们...
人脸识别损失函数
tj1027128330的博客
06-03 3231
一、人脸识别 人脸识别：基于脸部特征信息进行身份识别的一种生物识别技术。 人脸识别属于分类问题，每个人的脸都是一个类别，而他/她的所有图片都是这个类的样本。 如下图： 胡歌的脸为一个类别，所有图片为这个类别的样本。 刘亦菲的脸为另一个类别。 人脸识别的步骤： 1，人脸检测：使用MTCNN等目标检测算法，检测到图片中是否存在人脸，若存在人脸则检测出人脸的位置区域，然后框出。 如图： 2，特征提取：将检测到的人脸框输入到特征提取网络中进行特征提取，返回的是一些特征数据。 如图...
Metric learning
qq_41645987的博客
10-26 574
一：减小类内距离，增大类间距离 class Metric_loss(nn.Module): def __init__(self,src_class): super(Metric_loss, self).__init__() self.n_class=src_class def forward(self, s_feature,s_labels): n, d = s_feature.shape # get labels
Large-Margin Softmax Loss
qq_24548569的博客
04-30 514
Large-Margin Softmax Loss 前言 前言 Large-Margin Softmax Loss也是为了提高类内特征的紧凑性，拉大类间特征的间隔（intra-class compactness and inter-class separability）而提出来的。 Large-Margin Softmax Loss1 该论文提出了一个增大类间特征间隔的softmax loss。 ...
从源码解读Large-Margin Softmax Loss for Convolutional Neural Networks
攻城狮的自我修养
10-24 3095
从源码解读Large-Margin Softmax Loss for Convolutional Neural Networks 1.论文回顾 论文地址：https://arxiv.org/pdf/1612.02295.pdf L-softmax的主要思想是通过一个超参m对softmax+cross entropy的损失函数进行改进。一般我们把y = Wx + b, output = softma...
损失函数改进之Large-Margin Softmax Loss
AI之路
08-08 3万+
最近几年网络效果的提升除了改变网络结构外，还有一群人在研究损失层的改进，这篇博文要介绍的就是较为新颖的Large-Margin softmax loss（L-softmax loss）。Large-Margin softmax loss来自ICML2016的论文：Large-Margin Softmax Loss for Convolutional Neural Networks 论文链接：htt
(L-Softmax loss)Large-Margin Softmax Loss for Convolutional Neural Networks
chenaxin的博客
06-13 352
论文地址：https://arxiv.org/abs/1612.02295 摘要   交叉熵损失和softmax可能是卷积神经网络(CNNs)中最常用的监控组件之一。尽管该组件简单、常用且性能优异，但它并不显式地鼓励对特性进行有区别的学习。在本文中，我们提出了一个广义的large-margin softmax (L-Softmax)损失，该损失明显地促进了学习特征之间的类内紧致性和类间可分性。此外，L-Softmax不仅可以调整所需的边缘，还能避免过拟合。我们还表明，L-Softmax损失可以通过典型随机梯
深度学习损失函数 分类损失回归损失
qq_42121640的博客
06-22 6841
损失函数是用于衡量模型所作出的预测离真实值（Ground Truth）之间的偏离程度。通常，我们都会最小化目标函数，最常用的算法便是“梯度下降法”（Gradient Descent）。损失函数大致可分为两种：回归损失（针对连续型变量）和分类损失（针对离散型变量）。一、回归损失（Regression Loss） L1 Loss（绝对值损失函数） 也称为Mean Absolute Error，即平均绝对误差（MAE），它衡量的是预测值与真实值之间距离的平均误差幅度，作用范围为0到正无穷。优点： 对离群点（Out
的margin函数_人脸识别中的margin损失函数
weixin_36318548的博客
01-12 482
用于人脸识别的损失函数，有Softmax，Contrastive Loss，Triplet Loss，Center Loss，Norm Face，Large-Margin Loss，A-Softmax Loss，InsightFace等等，这篇文章简单聊聊近年的margin损失函数。margin损失函数：Large-margin Softmax(L-Softmax)Sphereface(A-Sof...
【笔记】Center Loss : 减小类内距离，增加类间距，使用矩阵计算高维空间距离集大成者
最新发布
nyist_yangguang的博客
11-14 3815
上面给的是mnist的最后一层特征在二维空间的一个分布情况，可以看到类间是可分的，但类内存在的差距还是比较大的，在某种程度上类内间距大于类间的间距。因为同一个人的类内变化很可能会大于类间的变化，只有保持类内紧凑，我们才能对那些类内大变化的样本有一个更加鲁棒的判定结果。因此这个公式就是希望一个batch中的每个样本的feature离feature 的中心的距离的平方和要越小越好，也就是类内距离要越小越好。损失函数来训练网络，得到的深度特征通常具有比较强的区分性，也就是比较强的类间判别力。
[深度学习] 损失函数
kwame211的博客
01-23 4070
深度学习中损失函数是整个网络模型的“指挥棒”， 通过对预测样本和真实样本标记产生的误差反向传播指导网络参数学习。 分类任务的损失函数 假设某分类任务共有N个训练样本，针对网络最后分层第 i 个样本的输入特征为 XiXi ，其对应的标记为YiYi是最终的分类结果（C个分类结果中的一个），h=（h1,h2,...,hch1,h2,...,hc）为网络的最终输出，即样本 i 的预测结果。其中 C 是最...
损失函数loss大总结
热门推荐
年轻即出发，
06-23 11万+
分类任务loss: 二分类交叉熵损失sigmoid_cross_entropy： TensorFlow 接口： tf.losses.sigmoid_cross_entropy( multi_class_labels, logits, weights=1.0, label_smoothing=0, scope=None, loss_c...
Softmax loss 之 Large Margin Softmax(L-softmax)
caicai的博客
09-28 1313
关于softmax、softmaxloss的详细介绍可见于：https://blog.csdn.net/u014380165/article/details/77284921 large margin softmax论文中说道，softmax+cross-entropy loss是CNNs中最为常见的代价组合，效果不错，但是没有对特征有区别的学习。所以论文基于它提出L-Softmax，强化特征的类内紧凑和类间疏离。 Softmax loss 1. 定义 Gamma公式展示 Γ(n)=(n−1)!∀n∈N\G
从零开始学CV之二损失函数篇（4）
chenxiangrong的博客
06-30 808
注：本篇博客大部分内容并非原创，而是本人将之前收藏的资料整理，并加以自己的愚解整合成到一起，方便回顾复习，所有参考资料均已注明出处，并已点赞加收藏~ 续：从零开始学CV之二损失函数篇（3） 1.3 Sphereface 该Sphereface最早提出于CVPR 2017的《SphereFace: Deep Hypersphere Embedding for Face Recognition》，其也称A-Softmax损失函数，论文链接： https://arxiv.org/abs/1704.08063 作.
缩小类内距离增大类间距离策略——摘自知乎（作者：新想）
weixin_45291262的博客
08-14 4249
缩小类内距离增大类间距离策略——摘自知乎（作者：新想）1.triplet loss2. L-softmax3. A-softmax4. Am-softmax5. CenterLoss 1.triplet loss 最初是在FaceNet: A Unified Embedding for Face Recognition and Clustering论文中提出的，可以学到较好的人脸的embedding; 是深度学习中的一种损失函数，用于训练差异性较小的样本，如人脸等， Feed数据包括锚（Anchor）示例、
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值