大裕量Softmax 损失函数--Large-Margin Softmax Loss for Convolutional Neural Networks

最新推荐文章于 2022-08-18 23:13:47 发布
最新推荐文章于 2022-08-18 23:13:47 发布
阅读量5.2k 收藏 3
点赞数 2
分类专栏： ZJ 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cv_family_z/article/details/52839499
版权

ICML2016
Large-Margin Softmax Loss for Convolutional Neural Networks

本文针对CNN网络中的 Softmax Loss 做出改进，使之成为 Large-Margin Softmax Loss

这里写图片描述
标准的CNN可以被看做由 Softmax Loss 监督的卷积特征学习机器。

当前的 Softmax Loss 没有显式的强调 intra-class compactness 和 inter-class-separability。

Our key intuition is that the separability between sample and parameter can be factorized into amplitude ones and angular ones with cosine similarity
这里写图片描述
其中 c 是类的序号，c类对应的线性分类器相当于 最后一层全链接层对应的参数 W 。

原始的 softmax loss 定义如下：
这里写图片描述
改为角度表示为
这里写图片描述

3 Large-Margin Softmax Loss
3.1. Intuition
对于一个使用 softmax loss 的二分类问题，假定 x 属于类 1，如果我们希望正确分类，则需要满足 这里写图片描述 这里写图片描述

如果我们希望分类的判断具有一个大些的 Margin，则需要满足如下：
这里写图片描述这里写图片描述

这里写图片描述
余弦函数在 0到 180 是下降函数

3.2. 数学公式定义
这里写图片描述

几何解析图示：
这里写图片描述

二维特征的对比图示：
这里写图片描述

这里写图片描述

这里写图片描述

cv_family_z
关注
专栏目录
损失函数改进之Large-Margin Softmax Loss
AI之路
08-08 3万+
最近几年网络效果的提升除了改变网络结构外，还有一群人在研究损失层的改进，这篇博文要介绍的就是较为新颖的Large-Margin softmax loss（L-softmax loss）。Large-Margin softmax loss来自ICML2016的论文：Large-Margin Softmax Loss for Convolutional Neural Networks 论文链接：htt
Large-Margin Softmax Loss
qq_24548569的博客
04-30 515
Large-Margin Softmax Loss 前言 前言 Large-Margin Softmax Loss也是为了提高类内特征的紧凑性，拉大类间特征的间隔（intra-class compactness and inter-class separability）而提出来的。 Large-Margin Softmax Loss1 该论文提出了一个增大类间特征间隔的softmax loss。 ...
【论文笔记】Large-Margin Softmax Loss for Convolutional Neural Networks
热门推荐
shaoxiaohu的专栏
11-25 1万+
参考文献： Liu W, Wen Y, Yu Z, et al. Large-Margin Softmax Loss for Convolutional Neural Networks[C]//Proceedings of The 33rd International Conference on Machine Learning. 2016: 507-516.摘要Softmax Loss 函数经
Large-Margin Softmax Loss for Convolutional Neural Networks
weixin_37958272的博客
07-07 727
Large-Margin Softmax Loss for Convolutional Neural Networks 在本文中，我们将软最大损耗定义为交叉熵损耗、软最大函数和最后一个完全连接层的组合（见图1）。在这种定义下，许多流行的CNN模型可以被视为卷积特征学习组件和softmax损失组件的组合，如图1所示。 尽管它的流行，当前的软最大损失并不明确鼓励类内的紧密性和类间的可分离性。 我们的主要直觉是，样本和参数之间的可分性可以分解为具有余弦相似性的幅值和角值: 其中c是类索引，最后一个完全连接层的
large-margin softmax loss for convolutional neural networks
liguandong
11-23 1471
损失函数改进之Large-Margin Softmax Loss_AI之路-CSDN博客_large margin softmax最近几年网络效果的提升除了改变网络结构外，还有一群人在研究损失层的改进，这篇博文要介绍的就是较为新颖的Large-Margin softmax loss（L-softmax loss）。Large-Margin softmax loss来自ICML2016的论文：Large-Margin Softmax Loss for Convolutional Neural Networks
(L-Softmax loss)Large-Margin Softmax Loss for Convolutional Neural Networks
chenaxin的博客
06-13 361
论文地址：https://arxiv.org/abs/1612.02295 摘要   交叉熵损失和softmax可能是卷积神经网络(CNNs)中最常用的监控组件之一。尽管该组件简单、常用且性能优异，但它并不显式地鼓励对特性进行有区别的学习。在本文中，我们提出了一个广义的large-margin softmax (L-Softmax)损失，该损失明显地促进了学习特征之间的类内紧致性和类间可分性。此外，L-Softmax不仅可以调整所需的边缘，还能避免过拟合。我们还表明，L-Softmax损失可以通过典型随机梯
从源码解读Large-Margin Softmax Loss for Convolutional Neural Networks
攻城狮的自我修养
10-24 3101
从源码解读Large-Margin Softmax Loss for Convolutional Neural Networks 1.论文回顾 论文地址：https://arxiv.org/pdf/1612.02295.pdf L-softmax的主要思想是通过一个超参m对softmax+cross entropy的损失函数进行改进。一般我们把y = Wx + b, output = softma...
论文笔记 | Large-Margin Softmax Loss for Convolutional Neural Networks
你的益达
06-12 685
出处：ICML 2016 论文：http://proceedings.mlr.press/v48/liud16.pdf 代码：https://github.com/luoyetx/mx-lsoftmax 摘要： 交叉熵损失与softmax一起可以说是卷积神经网络（CNN）中最常用的监督组件之一。 尽管该组件具有简单性，流行性和出色的性能，但并未明确鼓励对功能进行辨别性学习。 本文提出了一个广义的l...
imagenet-classification-with-deep-convolutional-neural-networks原版和翻译..rar
06-09
该网络包含五个卷积层、三个全连接层以及一个Softmax层，总计约6000万个参数。为了减少过拟合，论文中提出了两个关键策略：局部响应归一化（Local Response Normalization）和丢弃法（Dropout）。 局部响应归一化是...
Python-卷积神经网络LargeMarginSoftmaxLoss的mxnet版本
08-11
卷积神经网络Large-Margin Softmax Loss的mxnet版本
margin-softmax:keras的margin-softmax稀疏实现
04-27
keras的margin-softmax稀疏实现 Keras的AM-Softmax，AAM-softmax等工具。 使用GRU + AM-Softmax的语义相似性模型。
阅读小结：Large-Margin Softmax Loss for Convolutional Neural Networks
郑哲东的博客
09-26 2298
徐博最近一直在看我博客，肯定是想看我什么时候不更新，然后好嘲笑我。当然，不排除徐博已经爱上我的可能。 What： 改进SoftmaxLoss，显式的控制类内的距离，（不让 已经对的样本score太高，影响训练） 可以防止过拟合。 回顾SoftmaxLoss： 1. Softmax 就是一个把一个向量归一的函数，输出也是向量。在matlab里就3行代码： % X
Loss(三)-2017：Large-Margin Softmax Loss【Margin：角度分类边界之间的空白角度区域；增大该区域可提高分类精度；缺陷：无法处理W_i≠W_j情况，训练不稳定】
u013250861的博客
08-18 745
尽管传统的softmax在卷积网络作为最常用的监督学习组件，但是他不能促进判别性强的特征的学习，在这篇论文里面首先提出一种基于Margin的L-Softmax损失函数，可以明确地促使学习到的特征具有类内的紧凑性和类间的可分离性。此外L-Softmax不仅可以调节所需的Margin，还可以避免过拟合的发生。这个损失函数可以通过经典的随机梯度下降算法优化。Large-Margin Softmax Loss（L-Softmax Loss）是为了提高类内特征的紧凑性，拉大类间特征的间隔（intra-class co
Softmax loss 之 Large Margin Softmax(L-softmax)
caicai的博客
09-28 1325
关于softmax、softmaxloss的详细介绍可见于：https://blog.csdn.net/u014380165/article/details/77284921 large margin softmax论文中说道，softmax+cross-entropy loss是CNNs中最为常见的代价组合，效果不错，但是没有对特征有区别的学习。所以论文基于它提出L-Softmax，强化特征的类内紧凑和类间疏离。 Softmax loss 1. 定义 Gamma公式展示 Γ(n)=(n−1)!∀n∈N\G
Angular Softmax Loss
weixin_37958272的博客
07-07 1385
Angular Softmax Loss A-softmax loss可以看作是softmax loss的一个增强版本。softmax loss给出的后验概率为: pi = eWiTx+biΣjeWjTx+bj\frac{e^{W{^T_i}x+b{_i}}}{\Sigma_je^{W{^T_j}x+b{_j}}}Σj​eWjT​x+bj​eWiT​x+bi​​其中x为输入特征向量。Wi和bi分别为与类i对应的softmax层的权向量和偏置。 为了说明A-softmax损失，我们考虑了两类情况。将下面的分析
SphereFace: Deep Hypersphere Embedding for Face Recognition - 人脸识别 - Angular softmax loss
kebijuelun的博客
12-05 330
Paper name SphereFace: Deep Hypersphere Embedding for Face Recognition Paper Reading Note URL: https://arxiv.org/pdf/1704.08063.pdf TL;DR 该篇文章出自CVPR2017，提出了angular softmax(A-Softmax) loss来增强用于人脸识别任务的卷...
（原）SphereFace及其pytorch代码
weixin_34319999的博客
03-07 619
转载请注明出处： http://www.cnblogs.com/darkknightzh/p/8524937.html 论文： SphereFace: Deep Hypersphere Embedding for Face Recognition https://arxiv.org/abs/1704.08063 http://wyliu.com/papers/LiuCVPR17v3.pd...
Multimodal MRI-based classification of Alzheimer's disease using hierarchical convolutional neural networks全文
最新发布
05-01
最后，我们将H-CNN的输出传递给全连接层，并使用softmax函数对其进行分类。 4. 实验结果 为了评估所提出的方法的性能，我们使用了一个包含200名AD患者和200名正常对照组的数据集。我们将数据集分为训练集、验证集...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值