大裕量Softmax 损失函数--Large-Margin Softmax Loss for Convolutional Neural Networks

最新推荐文章于 2022-08-18 23:13:47 发布
最新推荐文章于 2022-08-18 23:13:47 发布
阅读量5.2k 收藏 3
点赞数 2
分类专栏： ZJ 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cv_family_z/article/details/52839499
版权

ICML2016
Large-Margin Softmax Loss for Convolutional Neural Networks

本文针对CNN网络中的 Softmax Loss 做出改进，使之成为 Large-Margin Softmax Loss

这里写图片描述
标准的CNN可以被看做由 Softmax Loss 监督的卷积特征学习机器。

当前的 Softmax Loss 没有显式的强调 intra-class compactness 和 inter-class-separability。

Our key intuition is that the separability between sample and parameter can be factorized into amplitude ones and angular ones with cosine similarity
这里写图片描述
其中 c 是类的序号，c类对应的线性分类器相当于 最后一层全链接层对应的参数 W 。

原始的 softmax loss 定义如下：
这里写图片描述
改为角度表示为
这里写图片描述

3 Large-Margin Softmax Loss
3.1. Intuition
对于一个使用 softmax loss 的二分类问题，假定 x 属于类 1，如果我们希望正确分类，则需要满足 这里写图片描述 这里写图片描述

如果我们希望分类的判断具有一个大些的 Margin，则需要满足如下：
这里写图片描述这里写图片描述

这里写图片描述
余弦函数在 0到 180 是下降函数

3.2. 数学公式定义
这里写图片描述

几何解析图示：
这里写图片描述

二维特征的对比图示：
这里写图片描述

这里写图片描述

这里写图片描述

cv_family_z
关注
专栏目录
损失函数改进之Large-Margin Softmax Loss
AI之路
08-08 3万+
最近几年网络效果的提升除了改变网络结构外，还有一群人在研究损失层的改进，这篇博文要介绍的就是较为新颖的Large-Margin softmax loss（L-softmax loss）。Large-Margin softmax loss来自ICML2016的论文：Large-Margin Softmax Loss for Convolutional Neural Networks 论文链接：htt
Large-Margin Softmax Loss
qq_24548569的博客
04-30 521
Large-Margin Softmax Loss 前言 前言 Large-Margin Softmax Loss也是为了提高类内特征的紧凑性，拉大类间特征的间隔（intra-class compactness and inter-class separability）而提出来的。 Large-Margin Softmax Loss1 该论文提出了一个增大类间特征间隔的softmax loss。 ...
【论文笔记】Large-Margin Softmax Loss for Convolutional Neural Networks
热门推荐
shaoxiaohu的专栏
11-25 1万+
参考文献： Liu W, Wen Y, Yu Z, et al. Large-Margin Softmax Loss for Convolutional Neural Networks[C]//Proceedings of The 33rd International Conference on Machine Learning. 2016: 507-516.摘要Softmax Loss 函数经
Large-Margin Softmax Loss for Convolutional Neural Networks
weixin_37958272的博客
07-07 737
Large-Margin Softmax Loss for Convolutional Neural Networks 在本文中，我们将软最大损耗定义为交叉熵损耗、软最大函数和最后一个完全连接层的组合（见图1）。在这种定义下，许多流行的CNN模型可以被视为卷积特征学习组件和softmax损失组件的组合，如图1所示。 尽管它的流行，当前的软最大损失并不明确鼓励类内的紧密性和类间的可分离性。 我们的主要直觉是，样本和参数之间的可分性可以分解为具有余弦相似性的幅值和角值: 其中c是类索引，最后一个完全连接层的
large-margin softmax loss for convolutional neural networks
liguandong
11-23 1489
损失函数改进之Large-Margin Softmax Loss_AI之路-CSDN博客_large margin softmax最近几年网络效果的提升除了改变网络结构外，还有一群人在研究损失层的改进，这篇博文要介绍的就是较为新颖的Large-Margin softmax loss（L-softmax loss）。Large-Margin softmax loss来自ICML2016的论文：Large-Margin Softmax Loss for Convolutional Neural Networks
(L-Softmax loss)Large-Margin Softmax Loss for Convolutional Neural Networks
chenaxin的博客
06-13 366
论文地址：https://arxiv.org/abs/1612.02295 摘要   交叉熵损失和softmax可能是卷积神经网络(CNNs)中最常用的监控组件之一。尽管该组件简单、常用且性能优异，但它并不显式地鼓励对特性进行有区别的学习。在本文中，我们提出了一个广义的large-margin softmax (L-Softmax)损失，该损失明显地促进了学习特征之间的类内紧致性和类间可分性。此外，L-Softmax不仅可以调整所需的边缘，还能避免过拟合。我们还表明，L-Softmax损失可以通过典型随机梯
从源码解读Large-Margin Softmax Loss for Convolutional Neural Networks
攻城狮的自我修养
10-24 3109
从源码解读Large-Margin Softmax Loss for Convolutional Neural Networks 1.论文回顾 论文地址：https://arxiv.org/pdf/1612.02295.pdf L-softmax的主要思想是通过一个超参m对softmax+cross entropy的损失函数进行改进。一般我们把y = Wx + b, output = softma...
论文笔记 | Large-Margin Softmax Loss for Convolutional Neural Networks
你的益达
06-12 693
出处：ICML 2016 论文：http://proceedings.mlr.press/v48/liud16.pdf 代码：https://github.com/luoyetx/mx-lsoftmax 摘要： 交叉熵损失与softmax一起可以说是卷积神经网络（CNN）中最常用的监督组件之一。 尽管该组件具有简单性，流行性和出色的性能，但并未明确鼓励对功能进行辨别性学习。 本文提出了一个广义的l...
imagenet-classification-with-deep-convolutional-neural-networks原版和翻译..rar
06-09
该网络包含五个卷积层、三个全连接层以及一个Softmax层，总计约6000万个参数。为了减少过拟合，论文中提出了两个关键策略：局部响应归一化（Local Response Normalization）和丢弃法（Dropout）。 局部响应归一化是...
Python-卷积神经网络LargeMarginSoftmaxLoss的mxnet版本
08-11
卷积神经网络Large-Margin Softmax Loss的mxnet版本
阅读小结：Large-Margin Softmax Loss for Convolutional Neural Networks
郑哲东的博客
09-26 2299
徐博最近一直在看我博客，肯定是想看我什么时候不更新，然后好嘲笑我。当然，不排除徐博已经爱上我的可能。 What： 改进SoftmaxLoss，显式的控制类内的距离，（不让 已经对的样本score太高，影响训练） 可以防止过拟合。 回顾SoftmaxLoss： 1. Softmax 就是一个把一个向量归一的函数，输出也是向量。在matlab里就3行代码： % X
Loss(三)-2017：Large-Margin Softmax Loss【Margin：角度分类边界之间的空白角度区域；增大该区域可提高分类精度；缺陷：无法处理W_i≠W_j情况，训练不稳定】
u013250861的博客
08-18 760
尽管传统的softmax在卷积网络作为最常用的监督学习组件，但是他不能促进判别性强的特征的学习，在这篇论文里面首先提出一种基于Margin的L-Softmax损失函数，可以明确地促使学习到的特征具有类内的紧凑性和类间的可分离性。此外L-Softmax不仅可以调节所需的Margin，还可以避免过拟合的发生。这个损失函数可以通过经典的随机梯度下降算法优化。Large-Margin Softmax Loss（L-Softmax Loss）是为了提高类内特征的紧凑性，拉大类间特征的间隔（intra-class co
Softmax loss 之 Large Margin Softmax(L-softmax)
caicai的博客
09-28 1347
关于softmax、softmaxloss的详细介绍可见于：https://blog.csdn.net/u014380165/article/details/77284921 large margin softmax论文中说道，softmax+cross-entropy loss是CNNs中最为常见的代价组合，效果不错，但是没有对特征有区别的学习。所以论文基于它提出L-Softmax，强化特征的类内紧凑和类间疏离。 Softmax loss 1. 定义 Gamma公式展示 Γ(n)=(n−1)!∀n∈N\G
Angular Softmax Loss
weixin_37958272的博客
07-07 1388
Angular Softmax Loss A-softmax loss可以看作是softmax loss的一个增强版本。softmax loss给出的后验概率为: pi = eWiTx+biΣjeWjTx+bj\frac{e^{W{^T_i}x+b{_i}}}{\Sigma_je^{W{^T_j}x+b{_j}}}Σj​eWjT​x+bj​eWiT​x+bi​​其中x为输入特征向量。Wi和bi分别为与类i对应的softmax层的权向量和偏置。 为了说明A-softmax损失，我们考虑了两类情况。将下面的分析
SphereFace: Deep Hypersphere Embedding for Face Recognition - 人脸识别 - Angular softmax loss
kebijuelun的博客
12-05 336
Paper name SphereFace: Deep Hypersphere Embedding for Face Recognition Paper Reading Note URL: https://arxiv.org/pdf/1704.08063.pdf TL;DR 该篇文章出自CVPR2017，提出了angular softmax(A-Softmax) loss来增强用于人脸识别任务的卷...
（原）SphereFace及其pytorch代码
weixin_34319999的博客
03-07 623
转载请注明出处： http://www.cnblogs.com/darkknightzh/p/8524937.html 论文： SphereFace: Deep Hypersphere Embedding for Face Recognition https://arxiv.org/abs/1704.08063 http://wyliu.com/papers/LiuCVPR17v3.pd...
face recognition[angular/consine-margin-based][L2-Softmax]
weixin_33943347的博客
12-17 181
本文来自《L2-constrained Softmax Loss for Discriminative Face Verification》，时间线为2017年6月。 近些年，人脸验证的性能因引入了深度卷积网络而提升很大。一个典型的人脸识别流程就是： 训练一个基于softmax loss的深度卷积网络； 提取倒数第二层作为每个样本图片的特征表征； 基于两个样本的表征向量，计算cos的向量相似...
Multimodal MRI-based classification of Alzheimer's disease using hierarchical convolutional neural networks全文
最新发布
05-01
摘要： 阿尔茨海默病（Alzheimer's disease，AD）是一种神经退行性疾病，是老年人口中最常见的病症之一。当前，基于磁共振成像（MRI）的多模态分析已成为诊断AD的重要辅助手段。然而，MRI数据中存在着大量的噪声和不确定性，且不同模态间的信息存在着差异，这给AD的诊断和分类带来了很大的挑战。本文提出了一种基于分层卷积神经网络（H-CNN）的多模态MRI分类方法。我们首先使用三种不同的MRI模态（T1加权、FLAIR和DWI）获取脑部结构、病变和功能信息，然后采用H-CNN对这些信息进行联合建模、特征提取和分类。实验结果表明，所提出的方法在AD分类任务上取得了最优的性能。 关键词： 阿尔茨海默病；多模态MRI；卷积神经网络；分层结构；分类 1. 简介 随着人口老龄化程度的不断加深，阿尔茨海默病（Alzheimer's disease，AD）已经成为老年人口中最为常见的失智症之一。AD主要表现为记忆力衰退、认知功能障碍和情绪不稳定等症状，严重影响患者的生活质量。目前，临床上主要采用神经心理学测试和影像学检查等手段对AD进行诊断和分类。其中，磁共振成像（MRI）已经成为一种非常重要的辅助诊断手段，它可以提供脑部结构、病变和功能等多方面的信息。 然而，MRI数据中存在着大量的噪声和不确定性，且不同模态间的信息存在着差异，这给AD的诊断和分类带来了很大的挑战。为了克服这些困难，近年来研究人员提出了许多基于机器学习和深度学习的AD分类方法。其中，卷积神经网络（CNN）已经被广泛应用于MRI数据的处理和分析。CNN可以自动从数据中学习特征，并且对噪声和不确定性具有较强的鲁棒性。 然而，目前的大多数CNN模型都是针对单一模态的MRI数据进行设计的，这限制了它们的分类性能。为了更好地利用MRI数据中的多模态信息，我们提出了一种基于分层卷积神经网络（H-CNN）的多模态MRI分类方法。我们使用三种不同的MRI模态（T1加权、FLAIR和DWI）获取脑部结构、病变和功能信息，然后采用H-CNN对这些信息进行联合建模、特征提取和分类。实验结果表明，所提出的方法在AD分类任务上取得了最优的性能。 2. 相关工作 近年来，基于机器学习和深度学习的AD分类方法已经得到了广泛的研究。其中，CNN是一种非常常用的深度学习模型，已经被应用于MRI数据的处理和分析。例如，Sarraf和Tofighi[1]提出了一种基于3D-CNN的AD分类方法，该方法可以从三维MRI数据中提取特征并进行分类。Wang等人[2]提出了一种基于深度卷积神经网络（DCNN）的AD分类方法，该方法可以自动学习MRI数据中的特征并进行分类。Li等人[3]提出了一种基于深度信念网络（DBN）的AD分类方法，该方法可以对MRI数据进行降维和特征提取，并且可以处理多模态MRI数据。 尽管这些方法在AD分类任务中取得了一定的成功，但它们都是针对单一模态的MRI数据进行设计的，而忽略了MRI数据中的多模态信息。为了更好地利用MRI数据中的多模态信息，一些研究人员提出了基于多模态MRI数据的AD分类方法。例如，Li等人[4]提出了一种基于多模态脑图像的AD分类方法，该方法可以联合处理T1加权和FLAIR模态的MRI数据。Zhang等人[5]提出了一种基于多模态MRI数据的AD分类方法，该方法可以联合处理T1加权、T2加权和FLAIR模态的MRI数据。 然而，这些方法仍然存在一些问题。首先，它们通常采用简单的模型结构，无法充分利用MRI数据中的多模态信息。其次，它们的特征提取过程通常是手工设计的，无法自动学习MRI数据中的特征。最后，它们的分类性能仍然有待进一步提高。 3. 方法 为了更好地利用MRI数据中的多模态信息，我们提出了一种基于分层卷积神经网络（H-CNN）的多模态MRI分类方法。我们使用三种不同的MRI模态（T1加权、FLAIR和DWI）获取脑部结构、病变和功能信息，然后采用H-CNN对这些信息进行联合建模、特征提取和分类。 具体来说，我们首先将三种不同的MRI模态分别输入到三个单独的卷积神经网络中，以进行局部特征提取。然后，我们采用一个分层卷积神经网络（H-CNN）将这些局部特征进行联合建模。H-CNN由多个卷积层和池化层组成，每个卷积层和池化层都包含多个子层。在每个子层中，我们使用不同的卷积核和池化核来提取不同尺度的特征。最后，我们将H-CNN的输出传递给全连接层，并使用softmax函数对其进行分类。 4. 实验结果 为了评估所提出的方法的性能，我们使用了一个包含200名AD患者和200名正常对照组的数据集。我们将数据集分为训练集、验证集和测试集，其中训练集和验证集用于模型训练和调优，测试集用于评估模型的性能。我们使用了准确率、召回率、F1值和AUC等指标来评估模型的性能。 实验结果表明，所提出的方法在AD分类任务上取得了最优的性能。具体来说，我们的方法在测试集上的准确率、召回率、F1值和AUC分别为93.2%、91.8%、92.5%和0.974，远高于其他方法。这表明，我们的方法可以有效地利用MRI数据中的多模态信息，并且具有较强的分类性能。 5. 结论 本文提出了一种基于分层卷积神经网络（H-CNN）的多模态MRI分类方法，该方法可以有效地利用MRI数据中的多模态信息，并且具有较强的分类性能。实验结果表明，所提出的方法在AD分类任务上取得了最优的性能。未来，我们将进一步改进该方法，并将其应用于其他相关疾病的诊断和分类。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值