【没有哪个港口是永远的停留~ 论文解读】L-Softmax

最新推荐文章于 2023-04-02 20:32:12 发布
最新推荐文章于 2023-04-02 20:32:12 发布
阅读量1k 收藏 5
点赞数
分类专栏： 论文研究、复现、总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/magic_shuang/article/details/110173469
版权

论文地址：Large-Margin Softmax Loss for Convolutional Neural Networks

摘要

提出问题：交叉熵损失和Softmax可以说是卷积神经网络(CNNs)中最常用的监督组件之一)。 尽管它简单，流行和优秀的香水 该组件没有明确地鼓励对特征的鉴别学习。

解决问题：本文提出了一种 large-margin Softmax(L-Softmax) 损失，它显式地鼓励类内紧凑和类间可分离。 此外，L-Softmax不仅可以调整所需的 margin ，而且可以避免过拟合。我们还表明，L-Softmax损失可以通过典型的随机梯度下降来优化。在四个基准数据集上的广泛实验表明，具有L-softmax损失的深度学习特征变得更加具有鉴别性，从而显著提高了各种性能 视觉分类和验证任务。

 Introduction

对于内紧凑和类间可分离别人的做法是使用triplet loss、contrastive loss

我们的主要想法是，样本和参数之间的可分性，可以分解为振幅的和具有余弦相似度的角。在Softmax损失下，由于Softmax损失使用余弦距离作为分类评分，标签预测决策规则在很大程度上取决于与每个类的角度相似性。

样本参数可分性

其中：

  1. c是类索引，
  2. W_c：最后一个完全连接层的相应参数W_c可以看作是c类的线性分类器

L-Softmax损失是一个灵活的学习目标，具有可调的类间角 margin 约束。 它提出了一种难度可调的学习任务，随着 margin 变大,难度逐渐增加

L-Softmax损失目标直观，防止过拟合

图2-数据集：手写数字、特征为2维度(方便展示)，m=1为softmax,m=2\3\4为L-softmax

 Large-Margin Softmax Loss

（1）是softmax loss 损失公式

将f_y_i表示成矩阵相乘后， softmax loss 变成（2）表示，此时它还是 softmax loss ，但是是以角度间距作为评价指标

 添加决策边界magin后，就是L-SoftMax

添加margin

 

最终L-SoftMax表示

 不同\varphi (\theta )图像：

值阈比较

为方便 forward and backward  我们构造了一个特定的\varphi (\theta )：

其中：

  1. k ∈ [0, m − 1] and k is an integer.

不同权重在两种loss下的影响

决策边界

 

Experiments and Results

  • 我们评估了两种典型视觉应用中的广义Softmax损失：visual classification and face verification.。
  • 在visual classification中，我们使用三个标准基准数据集：MNIST、CIFAR10和CIFAR100。
  • 在face verification中，LFW数据集上评估了我们的方法。 
表1

网络：

  1. 基于VGG-net
  2. 卷积采用3X3 ,1填充，步长1
  3. 对于池层，如果特征映射大小减半，则过滤器的数量将增加一倍，以保持每层的时间复杂度
  4. 所有采用 PReLU 作为激活函数
  5.  batch size = 256
  6.  weight decay = 0.0005 、 momentum = 0.9
  7. 权重初始化
  8. batch normalization
  9. without dropout
  10. input - mean
  11. 优化器 = 随机梯度下降

然而，当训练数据有太多的分类(如CASIA-WebFace数据集)时，L-Softmax的收敛性将比Softmax损失更差。

换成上述公式，用一个非常大的λ开始梯度下降(它类似于优化原始Softmax)。 然后我们在迭代过程中逐渐减少λ。 理想情况下，λ可以逐渐减少到零，但一个小的值通常就足够了。

实验1：MNIST, CIFAR10, CIFAR100

设置：

  • 学习率 = 0.1 #divide it by 10 at 12k and 15k iterations,
  •  18k iterations 停止训练
  • 45k/5k =  train/val 

 

MNIST数据集:

  • 我们的网络架构如表1所示。
  • 表2显示了以前的最佳结果和我们提出的L-Softmax损失的结果。 
  • 从图2看出：对于较大的m，我们确实得到了一个较大的角度决策margin。
表2

CIFAR100数据集：我们还评估了CIFAR100数据集上的广义Softmax损失。 CNN架构参照表1。 

表4

CIFAR10数据集：

  • 每边填充4个像素，从填充图像或其水平翻转中随机采样32×32。
  • 在测试中，我们只有电动汽车， 结果见表3。
  • 表3

 

错误率 vs. 迭代：

看图看真相

图6：训练集CIFAR100、左边训练、右边测试【不同m】

 

图7：训练集CIFAR100、m= 4、左边训练、右边测试【不同filter数量】

 

实验2：Face Verification:

 设置：

  • 学习率 =  0.1, 0.01,0.001
  • 共计：30 epochs
  • 评估：LFW数据集，5749人，13,233张人脸图像。
  • 训练：CASIA-WebFace数据集
  • 对齐人脸，然后根据5点裁剪它们。
  • 最后利用PCA形成一个紧凑的特征向量。
  • 结果见表5。
表5
magic_shuang
关注
专栏目录
L-softmax.zip
12-20
标题中的"L-softmax.zip"指的是一个压缩包，包含了一些与深度学习框架Caffe相关的文件，用于实现L-Softmax损失函数的实验。L-Softmax是Softmax损失函数的一个变体，旨在解决深度学习模型训练过程中的分类问题，特别...
几何分布的期望和方差公式推导_L-softmax公式推导及几何解释
weixin_39781550的博客
11-23 410
1. Softmax Loss图1.标准CNN可以被视为由softmax损失监督的卷积特征学习机softmax函数由于其简单性和概率解释而被许多CNN广泛采用。加上交叉熵损失，它们可以说是CNN架构中最常用的组件之一。我们将softmax loss定义为交叉熵损失。图1,描述了基于softmax loss对问题进行分类的过程。输入训练样本，倒数第二层的特征提取层输出特征 ，与最后一层的分类层的类...
对比学习损失篇，从L-softmax到AM-softmax到circle-loss到PCCL
algorithm learning blog
09-19 2516
对比学习损失篇，从L-softmax到AM-softmax到circle-loss到PCCL
Softmax loss 之 Large Margin Softmax(L-softmax)
caicai的博客
09-28 1389
关于softmax、softmaxloss的详细介绍可见于：https://blog.csdn.net/u014380165/article/details/77284921 large margin softmax论文中说道，softmax+cross-entropy loss是CNNs中最为常见的代价组合，效果不错，但是没有对特征有区别的学习。所以论文基于它提出L-Softmax，强化特征的类内紧凑和类间疏离。 Softmax loss 1. 定义 Gamma公式展示 Γ(n)=(n−1)!∀n∈N\G
人脸识别-损失函数：概述【Softmax loss→Center Loss→L-Softmax Loss→SphereFace→CosFace→ArcFace】
u013250861的博客
08-18 771
L=−j=1∑T​yj​log(Sj​)=−N1​i∑​log(∑j​ewjT​xi​ewyi​T​xi​​)LSj​Sjjyj​j1Ty1×TT11T−10110样本3真实类别为c1​，c5​loss3​=−∑yi,c​⋅log(pi,c​)​=−[y3,1​⋅log(p3,1​)+
【深度学习】转载_目标识别损失函数
MangoloD的博客
03-31 587
转载自博客 【人脸识别】MTCNN + Arcface全流程详解 Pytorch代码 损失函数发展 人脸识别介绍 MTCNN 实现人脸检测，回答了“是不是人脸”和“人脸在哪”的问题，接下来人脸识别要解决的就是“人脸是谁”。 人脸识别是目标识别中的一种，本质上也是分类问题，只不过是同类（人脸）中的细分，因为人脸之间相似度很大，这对损失函数的分类能力提出了更高的要求。 损失函数发展 下面介绍分类损失函数的主要类型和发展历程，及部分pytorch代码。 效果图来自 MNIST 数据集，将网络模型倒数第二.
人脸识别 L-Softmax
03-01
Cross-entropy loss together with softmax is arguably one of the most common used supervision components in convolutional neural networks (CNNs). Despite its simplicity, popularity and excellent ...
margin-softmax:keras的margin-softmax稀疏实现
04-27
在提供的"margin-softmax-master"压缩包中，可能包含了实现这些方法的源代码，包括模型结构、损失函数定义以及训练过程等。 至于GRU，它是一种RNN（循环神经网络）的变体，主要用于处理序列数据。GRU相比标准的LSTM...
0083-极智AI-解读C++手写softmax激活函数-个人笔记
最新发布
07-21
0083_极智AI_解读C++手写softmax激活函数-个人笔记
Loss_ToolBox-PyTorch:PyTorch实现焦点损失和Lovasz-Softmax损失
05-24
《PyTorch实现焦点损失与Lovász-Softmax损失详解》 在计算机视觉和深度学习领域，损失函数是衡量模型预测与真实结果之间差距的关键工具。本篇将深入探讨两个在3D图像分割中常用的损失函数：焦点损失（Focal Loss）...
人脸识别演变过程中的 softmax loss、center loss、L-Softmax loss、A-Softmax loss、AM-Softmax loss、ArcFace的完整详细讲解
qq_41158484的博客
10-18 2081
人脸识别的损失方法，学习汇总
李沐-softmax从0开始实现
hlhwna的博客
04-02 144
8.Accumulator()：可以索引的计数器，例如：Accumulator(2)代表有两个计数单元，可以通过.add()进行添加，每用一个逗号跨一个单元。简单实现：一.数据，二.初始化：1.网络初始化：定义网络结构，2.设计层参数初始化函数，3.apply()为网络添加初始化函数以初始化网络每一次，三。过程：1-读取数据，2-初始化参数，3-定义模型：1-softmax操作，2-模型本体，4-损失函数，5-训练-反向和梯度有自动化，所以不需要专门定义。2，模块判断：(函数，模块);
人脸识别-损失函数改进方法之L-softmax loss center-loss A-softmax loss focal loss
weixin_NineDays66
05-29 7122
                                       而ArcFac中的loss与其他loss不同之处在于下图：  与CosFace的解释相同，只是ArcFace相比CosFace的不同体现在度量的维度上面。论文中还做了其他很多的贡献，具体的请详见论文。   1、Large Marge Softmax Loss  ICML2016提出的Large Mar...
Softmax、L-Softmax、A-Softmax的整理对比
s000da的博客
01-06 8985
目录 Large-Margin Softmax Loss  A-Softmax loss 附录 本文中对比了L-Softmax Loss 和A-Softmax loss两种变式，仅作为比较。对于两种损失函数的具体介绍见后期整理的论文笔记。 Large-Margin Softmax Loss  Large-Margin Softmax Loss（L-softmax）是在ICML2016中...
L2-constrained Softmax Loss for Discriminative Face Verification 论文学习
calvinpaean的博客
10-13 424
Abstract 得益于DCNN，人脸验证系统在近些年取得了巨大的成功。 人脸验证系统通常包括一个使用 softmax loss 的分类网络，它将倒数第二层的输出作为特征描述，计算出给定的一对人脸图像的余弦相似度。Softmax loss 并不是优化特征，来让正样本对拥有更高的相似度得分、负样本对拥有更低的相似度得分，这就产生了分歧。作者给特征描述增加了 L2L_2L2​约束，将它们限制在固定半径的超球面上。通过现有的深度学习方法可以很容易地实现。作者证明，训练时加入这一步骤可以明显地提升人脸验证效果。在
【论文笔记】Large-Margin Softmax Loss for Convolutional Neural Networks
shaoxiaohu的专栏
11-25 1万+
参考文献： Liu W, Wen Y, Yu Z, et al. Large-Margin Softmax Loss for Convolutional Neural Networks[C]//Proceedings of The 33rd International Conference on Machine Learning. 2016: 507-516.摘要Softmax Loss 函数经
A-Softmax的总结及与L-Softmax的对比——SphereFace
weixin_30847271的博客
09-11 406
A-Softmax的总结及与L-Softmax的对比——SphereFace \(\quad\)【引言】SphereFace在MegaFace数据集上识别率在2017年排名第一，用的A-Softmax Loss有着清晰的几何定义，能在比较小的数据集上达到不错的效果。这个是他们总结成果的论文：SphereFace: Deep Hypersphere Embedding for Face Recogn...
损失函数改进之Large-Margin Softmax Loss
热门推荐
AI之路
08-08 3万+
最近几年网络效果的提升除了改变网络结构外，还有一群人在研究损失层的改进，这篇博文要介绍的就是较为新颖的Large-Margin softmax loss（L-softmax loss）。Large-Margin softmax loss来自ICML2016的论文：Large-Margin Softmax Loss for Convolutional Neural Networks 论文链接：htt
loss函数涉及的softmax 、cross encropy和softmaxwithloss
wonengguwozai的博客
07-01 6693
相关内容参考：https://blog.csdn.net/u014380165/article/details/77284921 1、softmax 函数： 定义： 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的Softmax值就可以用以上公式表示。也就是说，是该元素的指数，与所有元素指数和的比值。（是不是很简单） 知乎上有人用下图的方式解释了softmax函数： ...
softmax和L-softmax的区别 以及L-softmax的优势
07-22
L-softmax（Large Margin Softmax）是一种在softmax损失函数的基础上引入了margin的改进方法。它与传统的softmax有以下几点区别和优势： 1. 区别： - softmax：softmax函数是常用的多类别分类器，通过将输入转换为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值