损失函数改进之Large-Margin Softmax Loss

最新推荐文章于 2024-01-30 22:35:49 发布
VIP文章 最新推荐文章于 2024-01-30 22:35:49 发布
阅读量3.3w 收藏 90
点赞数 31
分类专栏： 深度学习 计算机视觉 文章标签： 深度学习与计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014380165/article/details/76864572
版权

最近几年网络效果的提升除了改变网络结构外，还有一群人在研究损失层的改进，这篇博文要介绍的就是较为新颖的Large-Margin softmax loss（L-softmax loss）。Large-Margin softmax loss来自ICML2016的论文：Large-Margin Softmax Loss for Convolutional Neural Networks
论文链接：http://proceedings.mlr.press/v48/liud16.pdf，
MxNet代码链接：https://github.com/luoyetx/mx-lsoftmax

先来直观看下Large-Margin Softmax Loss的效果，也是论文的核心：

这里写图片描述

什么意思呢？上面一行表示training set，下面一行表示testing set。每一行的第一个都是传统的softmax，后面3个是不同参数的L-sof

最低0.47元/天 解锁文章
AI之路
关注
  • 31
    点赞
  • 踩
  • 90
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
专栏目录
Loss_ToolBox-PyTorch:PyTorch实现焦点损失和Lovasz-Softmax损失
05-24
Loss_ToolBox 介绍 该存储库包括3D图像分割的几处损失。 （PS：从借一些代码） （根据常规实现修改）
pytorch-loss:标签平滑，amsoftmax，散焦，三重损失，lovasz-softmax。 也许有用
04-30
火炬损失 我实现的标签平滑，amsoftmax，焦点损耗，双焦点损耗，三重态损耗，giou损耗，亲和力损耗，pc_softmax_cross_entropy，ohem损耗（基于行硬挖掘损失的softmax），大利润- softmax（bmvc2019），lovasz-softmax-loss和dice-loss（广义的软骰子损失和批处理软骰子损失）。 也许这对我的未来工作很有用。 还尝试实现swish，hard-swish（hswish）和mish激活功能。 此外，添加了基于cuda的一键式功能（支持标签平滑）。 新添加一个“指数移动平均线（EMA）”运算符。 添加卷积运算，例如coord-conv2d和dynamic-conv2d（dy-conv2d）。 一些运算符是使用pytorch cuda扩展实现的，因此您需要先对其进行编译： $ python setup.py
基于MMOD方法的人脸识别模型
kkkkkkddddd15的博客
01-30 603
但在大作业中，通过对所给论文的仔细研读，对算法原理有了更加深刻的理解，所引《Max-Margin Object Detection》中所用的拉格朗日函数，KKT条件，都已经在平时的课程中学习过，却没想到将其在计算机上的实现，实在是惭愧，好在的是，经过十周的学习，《机器学习》这门课激发了我对于用计算机编程来解决现实问题的兴趣，尤其是对本文所提及的人脸识别的兴趣，在接下来的学习过程中，我会积极寻求胡老师和同学的帮助，将所学的数学知识运用到实践中，来提高自己编写算法的能力，以求制作出更好的人脸识别模型。
转载：YOLOv8改进全新Inner-IoU损失函数：扩展到其他SIoU、CIoU等主流损失函数，带辅助边界框的损失
wuling129的专栏
11-16 2392
目标检测是计算机视觉中的基本任务，包括目标分类和定位。边界框回归损失函数是检测器定位分支的重要组成部分，检测器的定位精度在很大程度上取决于边界框回归，在当前的检测器中发挥着不可替代的作用。在BBR中，IoU损失可以准确描述预测边界框与GT框之间匹配的程度，确保模型在训练过程中可以学习到目标的位置信息。作为现有主流边界框回归损失函数的基本部分，IoU定义如下：B和分别代表预测框和GT框。定义IoU之后，相应的损失可以定义如下：至今，基于IoU的损失函数逐渐成为主流并占据主导地位。
损失函数改进之Center Loss
热门推荐
AI之路
08-09 8万+
最近几年网络效果的提升除了改变网络结构外，还有一群人在研究损失层的改进，这篇博文要介绍的就是较为新颖的center loss。center loss来自ECCV2016的一篇论文：A Discriminative Feature Learning Approach for Deep Face Recognition。 论文链接：http://ydwen.github.io/papers/WenEC
Softmax loss 之 Large Margin Softmax(L-softmax)
caicai的博客
09-28 1063
关于softmax、softmaxloss的详细介绍可见于：https://blog.csdn.net/u014380165/article/details/77284921 large margin softmax论文中说道，softmax+cross-entropy loss是CNNs中最为常见的代价组合，效果不错，但是没有对特征有区别的学习。所以论文基于它提出L-Softmax，强化特征的类内紧凑和类间疏离。 Softmax loss 1. 定义 Gamma公式展示 Γ(n)=(n−1)!∀n∈N\G
【方向整理】损失函数改进方法
nymph_h的博客
07-10 6472
首先感谢原文作者: https://blog.csdn.net/u014380165/article/details/76946358 1. 总结 看过五种基本的损失函数改进之后，对损失函数的改进方向有了一个基本的认识。 这五个方向的改进大概分为两类，1，2，3，5一类，4一类 1.2.3.5 角度化改进与中心点改进 这一类改进方法的核心是尽可能使同一类分类结果集中，不同类分类结果分散。 1，2...
Large-Margin Softmax Loss
小花生的博客
05-06 1728
Large-Margin Softmax Loss 参考：https://zhuanlan.zhihu.com/p/34044634 https://zhuanlan.zhihu.com/p/35027284 https://zhuanlan.zhihu.com/p/34404607 Liu W, Wen Y, Yu Z, et al. Large-Margin Softmax Loss for...
源码分析 Large-Margin Softmax Loss for Convolutional Neural Networks
weixin_30832351的博客
06-06 110
作者在Caffe中引入了一个新层，一般情况在Caffe中引入一个新层需要修改caffe.proto,添加该层头文件*.hpp,CPU实现*.cpp，GPU实现*.cu,代码结果如下图所示： caffe.proto 作者在caffe.proto中引入了largemargin_inner_product_laye层所需要的一些参数，例如num_output、type等，请注意一些参...
Loss(三)-2017：Large-Margin Softmax Loss【Margin：角度分类边界之间的空白角度区域；增大该区域可提高分类精度；缺陷：无法处理W_i≠W_j情况，训练不稳定】
u013250861的博客
08-18 612
尽管传统的softmax在卷积网络作为最常用的监督学习组件，但是他不能促进判别性强的特征的学习，在这篇论文里面首先提出一种基于Margin的L-Softmax损失函数，可以明确地促使学习到的特征具有类内的紧凑性和类间的可分离性。此外L-Softmax不仅可以调节所需的Margin，还可以避免过拟合的发生。这个损失函数可以通过经典的随机梯度下降算法优化。Large-Margin Softmax Loss（L-Softmax Loss）是为了提高类内特征的紧凑性，拉大类间特征的间隔（intra-class co
margin-softmax:keras的margin-softmax稀疏实现
04-27
keras的margin-softmax稀疏实现 Keras的AM-Softmax，AAM-softmax等工具。 使用GRU + AM-Softmax的语义相似性模型。
7_交叉熵_softmax_损失函数loss_分析
01-06
文章目录一、softmax二、损失函数loss1、均值平方差2、交叉熵3、损失函数的选取三、softmax 算法与损失函数的综合应用1 验证softmax_cross_entropy_with_logits包含softmax函数2 验证非标准one_hot的交叉熵 结果对于...
pytorch-metric-learning：在应用程序中使用深度度量学习的最简单方法。 模块化，灵活和可扩展。 用PyTorch写
02-03
损失函数如何工作在训练循环中使用损失和矿工让我们初始化一个简单的 ： from pytorch_metric_learning import lossesloss_func = losses . TripletMarginLoss () 要在训练循环中计算损失，请传递模型计算的嵌入以及...
2021数学建模美赛C题代码.zip
04-24
最全的数学建模美赛C题和代码、大量刷题题库、逻辑清晰易于学习
这是一个保存Springboot+MyBaits项目的仓库.zip
最新发布
04-24
springboot框架 一、Spring Boot基础应用 Spring Boot特征 概念： 约定优于配置，简单来说就是你所期待的配置与约定的配置一致，那么就可以不做任何配置，约定不符合期待时才需要对约定进行替换配置。 特征： 1. SpringBoot Starter：他将常用的依赖分组进行了整合，将其合并到一个依赖中，这样就可以一次性添加到项目的Maven或Gradle构建中。 2,使编码变得简单，SpringBoot采用 JavaConfig的方式对Spring进行配置，并且提供了大量的注解，极大的提高了工作效率，比如@Configuration和@bean注解结合，基于@Configuration完成类扫描，基于@bean注解把返回值注入IOC容器。 3.自动配置：SpringBoot的自动配置特性利用了Spring对条件化配置的支持，合理地推测应用所需的bean并自动化配置他们。 4.使部署变得简单，SpringBoot内置了三种Servlet容器，Tomcat，Jetty,undertow.我们只需要一个Java的运行环境就可以跑SpringBoot的项目了
课设&大作业-毕业设计精品课程网站，采用的技术是 SSM 框架和 Shiro.zip
04-24
【资源说明】【毕业设计】 1、该资源内项目代码都是经过测试运行成功，功能正常的情况下才上传的，请放心下载使用。 2、适用人群：主要针对计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、数学、电子信息等)的同学或企业员工下载使用，具有较高的学习借鉴价值。 3、不仅适合小白学习实战练习，也可作为大作业、课程设计、毕设项目、初期项目立项演示等，欢迎下载，互相学习，共同进步！
c#做的综合上位机，服务于freescale智能车&电子设计.zip
04-24
c#做的综合上位机，服务于freescale智能车&电子设计.zip
tensorflow-gpu-2.7.2-cp39-cp39-manylinux2010-x86-64.whl
04-24
bert
Python使用 LSTM循环神经网络预测风力发电厂中风机产生的功率项目源码+数据集.zip
04-24
详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；详情请查看资源内容中使用说明；
softmaxloss损失函数
09-06
softmax loss损失函数是一种常用于多类别分类任务的损失函数，特别适用于神经网络模型。 在使用softmax loss损失函数之前，通常需要先通过一个softmax函数将模型的输出转化为概率分布。softmax函数将输入向量中的每个元素映射到一个介于0和1之间的值，并且所有元素的和为1。这样可以将模型的输出解释为每个类别的概率。 对于给定的训练样本，softmax loss损失函数衡量预测的概率分布与实际标签之间的差异。它通过计算预测的概率分布与实际标签的交叉熵来衡量这种差异。交叉熵是一个常用的度量指标，用于衡量两个概率分布之间的距离。 数学上，给定一个训练样本的真实标签为y，模型输出的概率分布为p，则softmax loss损失函数可以定义为：L = -sum(y * log(p))，其中sum表示对所有类别求和操作。 通过最小化softmax loss损失函数，可以让模型在训练过程中调整参数，使得模型的预测尽可能接近真实标签，从而提高分类准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值