常用的损失函数以及对应邻域

最新推荐文章于 2024-08-16 09:42:58 发布
最新推荐文章于 2024-08-16 09:42:58 发布
阅读量282 收藏 1
点赞数
文章标签： 神经网络 机器学习 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41111734/article/details/110575195
版权

各种损失函数以及应用领域

回归问题

1.L1范数损失 L1Loss
2.均方误差损失 MSELoss

分类问题

1.交叉熵损失 CrossEntropyLoss / 带权重的交叉熵损失
2.KL 散度损失 KLDivLoss
3.二进制交叉熵损失 BCELoss / 带权重的二进制交叉损失 / BCEWithLogitsLoss(将BCELoss和sigmoid层合并到了一起)
4.SoftMarginLoss
5.MultiLabelSoftMarginLoss

排名问题

1.MarginRankingLoss

监测两个输入的相似性或者不相似性/编解码/半监督/无监督

1.HingeEmbeddingLoss
2.CosineEmbeddingLoss
3.SmoothL1Loss

图像分割

1.focal loss
2.iou loss
3.带权重的交叉熵损失/交叉熵损失
4.diceloss
5.TopK loss
6.Distance map penalized cross entorpy loss

不解

1.MultiMarginLoss
2.TripletMarginLoss

小星星么么哒
关注
引入鲁棒性，这种新的损失函数实现了自适应、随时变换（附论文下载链接）...
gzq0723的博客
02-25 977
欢迎关注“计算机视觉研究院”————计算机视觉研究院专栏————作者：Edison_G扫描二维码关注我们微信公众号 :计算机视觉研究院回复“鲁棒性”获取论文集...
人工智能-损失函数-优化算法：梯度下降法的背后原理【一阶泰勒展开】
u013250861的博客
10-29 821
一、梯度下降法 梯度下降算法的思想，它将按如下操作达到最低点： 明确自己现在所处的位置。 找到相对于该位置而言下降最快的方向。 沿着第二步找到的方向走一小步，到达一个新的位置，此时的位置肯定比原来低。 回到第一步。 终止于最低点。 从数学角度来看，多元函数的梯度方向是函数增长最快的方向，那么梯度的反方向就是函数减少最快的方向。 以二元函数为例： z=f(x,y)z = f(x,y)z=f(x,y) 现在确定一个点 (x0,y0)(x_{0},y_{0})(x0​,y0​)，这个点是水平面上的，即在 xo
第九讲，权值初始化方法，损失函数
宋建国的博客
12-02 970
一，权值初始化 1.方差一致性原则：将每一层的方差都尽量控制在1左右 2.torch中提供了10种权值初始化方法： 均匀分布 正态分布 常数分布 单位矩阵初始化 Xavier均匀分布–》Xavier针对的是饱和激活函数 Xavier正态分布 凯明均匀分布–》凯明针对的是非饱和激活函数 凯明正态分布 正交矩阵初始化 系数矩阵初始化 3. nn.init.calculate_gain:计算激...
Boundary loss for highly unbalanced segmentation
weixin_43921949的博客
11-15 1419
一种边界损失来缓解类不平衡问题
开源项目教程：边界损失（Boundary Loss）实战指南
最新发布
gitblog_00520的博客
08-16 820
开源项目教程：边界损失（Boundary Loss）实战指南 项目地址:https://gitcode.com/gh_mirrors/bo/boundary-loss 项目介绍 边界损失（Boundary Loss），源自于论文《Boundary loss for highly unbalanced segmentation》，是专为解决图像分割中高度不均衡类别问题而设计的一种损失函数。此项目荣...
Boundary Loss 原理与代码解析
00000cj的博客
11-06 1万+
在医学图像分割中任务中通常存在严重的类别不平衡问题，目标前景区域的大小常常比背景区域小几个数量级，比如下图中前景区域比背景区域小500倍以上。分割通常采用的交叉熵损失函数，在高度不平衡的问题上存在着众所周知的缺点即它假设所有样本和类别的重要性相同，这通常会导致训练的不稳定，并导致决策边界偏向于数量多的类别。对于类别不平衡问题，一种常见的策略是对数目多的类别进行降采样来重新平衡类别的先验分布，但是这种策略限制了训练图像的使用。
【论文-损失函数】Learning with Average Top-k Loss
豆芽菜
10-08 1728
该损失适用于在线难例挖掘。即在训练时选择前K个loss较大的样本进行back propagate(bp)，而loss较小的样本(easy samples)则认为分类正确不用bp（loss较小可认为学会了，既然学会了就没有必要再学，也就不需要bp了），这里的前K可以是一个百分比，即前K%的hard样本，如70%，这个是MTCNN OHSM 采用的方法，注意K不能太大（论文中最佳结果是10%）否则不能达到hard sample mining的作用。训练经验而言，不用TopK loss会出现很多很难解决的误检问题
loss函数之CosineEmbeddingLoss，HingeEmbeddingLoss
ltochange的博客
06-20 3万+
CosineEmbeddingLoss 余弦相似度损失函数，用于判断输入的两个向量是否相似。 常用于非线性词向量学习以及半监督学习。 对于包含NNN个样本的batch数据 D(a,b,y)D(a,b,y)D(a,b,y)。aaa,bbb 代表模型输出，yyy代表真实的类别标签，yyy中元素的值属于{1,−1}\{1,-1\}{1,−1}，分别表示相似与不相似。 第iii个样本对应的losslossloss，如下： li={1−cos⁡(ai,bi), if yi=1max⁡(0,cos⁡
事件摄像机：专注于基于事件的视觉损失函数
12280专注就是你所需要的：基于事件的视觉的损失函数吉列尔莫·加列戈<$马蒂亚斯·格里克<$达维德·斯卡拉穆扎<$图1：运动补偿框架。时空窗口中的事件根据运动参数θ所描述的点轨迹进行扭曲，从而产生扭曲事件的图像...
sklearn的常用函数以及参数
CWG2017的博客
09-05 3406
sklearn中的算法可以分为如下几部分 分类算法 回归算法 聚类算法 降维算法 模型优化 文本预处理 其中分类算法和回归算法又叫做监督学习，聚类算法和降维算法又叫做非监督学习。 1.分类算法 KNN算法 from sklearn.neighbors import KNeighborsClassifier ...
Pytorch：优化器、损失函数与深度神经网络框架
Jingmin Wei's Blog
02-03 512
详细介绍常用的优化算法，优化器和损失函数。介绍了深度神经网络的搭建，训练框架，以及参数初始化方式
基于KL散度与JS散度相似度融合推荐算法.pdf
08-31
针对目前大多数推荐算法在计算项目或用户之间的相似度时只依赖于用户之间的共同评分 项，由于用户 － 项目签到矩阵的高稀疏性，导致推荐结果不准确问题，提出一种改进的协同过滤推荐 算法． 该算法基于每个项目基分值概率分布使用 KL 散度计算项目之间的显性反馈相似度，再融合隐 狄利克雷主题分配模型，得到每个项目属于 T 个主题的概率分布，使用 JS 散度计算出项目之间隐性 反馈相似度，将两个相似度融合后融入到传统基于项目的协同过滤算法中并应用到兴趣点推荐，缓 解数据稀疏性问题的同时提高了推荐质量． 在点评数据集 Yelp 上进行实验验证，得出该推荐算法比 传统的推荐算法更优
智能问答模型训练中三种常用的损失函数解读
计算机与数学领域的学习、分享、交流。
05-08 3042
智能问答是NLP领域落地最多的场景，其商业价值较高，能有效解决业务问题，降低人力成本。智能问答分为封闭域问答与开放域问答两种。封闭域的问答是指根据用户的问题，从已有问答库中找出最匹配的答案返回给用户。而开放域问答则是根据用户的问题，由模型根据已学会的知识生成相应的答案返回给用户。由于当前开放域问答存在回答不可控的问题，在工业界落地项目较少。而封闭域问答是NLP领域中落地最多的项目之一。封闭域问答最常见的形式是FAQ问答，即常见问题解答。在NLP中，对FAQ任务的解决方案是，将用户会遇到的常见问题收集起来构建
Unified Focal loss: Generalising Dice and cross entropy-based losses to handle class imbalanced medi
Acmer_future_victor的博客
07-05 1331
Unified Focal loss: Generalising Dice and cross entropy-based losses to handle class imbalanced medical image segmentation 发表期刊：Computerized Medical Imaging and Graphics’ 发表时间：2022年
Combined_Bce_Dice_Loss
Major_S的博客
01-04 2451
CombinedBceDiceLossCombined_Bce_Dice_LossCombinedB​ceD​iceL​oss class SoftDiceLoss(nn.Module): def __init__(self, smooth=1., dims=(-2,-1)): super(SoftDiceLoss, self).__init__() self.smooth = smooth self.dims = dims def
U-Net网络详解
热门推荐
遥远的她
07-07 15万+
U-Net: Convolutional Networks for Biomedical Image Segmentation 原文地址：https://zhuanlan.zhihu.com/p/43927696 前言 U-Net是比较早的使用全卷积网络进行语义分割的算法之一，论文中使用包含压缩路径和扩展路径的对称U形结构在当时非常具有创新性，且一定程度上影响了后面若干个分割网络的设计，该网...
【总结】激活函数 & 损失函数
学习 & 分享 ~
03-04 1810
S 型函数，也称为 S 型生长曲线、Logistic 函数。Sigmoid 函数常被用作神经网络的阈值函数，将变量映射到 (0,1) 之间，可以用来做二分类。定义域：任意实数 值域：0 到 1 计算公式：1/(1+exp(−x))1 / (1 + exp(-x))1/(1+exp(−x)) （1）函数特性（2）Sigmoid 函数公式 代码实现： （3）Sigmoid 函数的导数 代码实现： （4）Sigmoid 优点（5）Sigmoid 缺点由图可知，sigmoid 函数的导数从 0 开始向两边走，
基于边缘修复的图像分割论文简读
如果想成为中心，那么就到中心去吧。
02-25 5910
文章目录2016DCAN: Deep Contour-Aware Networks for Accurate Gland Segmentation 2016 DCAN: Deep Contour-Aware Networks for Accurate Gland Segmentation 摘要： 腺体的形态已被病理学家常规用于评估腺癌的恶性程度。从组织学图像中准确分割腺体是获得可靠的形态学统计数据以进行定量诊断的关键步骤。在本文中，我们提出了一个有效的深度轮廓感知网络(DCAN)来解决这个在统一的多任务学习
样本不均衡问题与损失函数
跨过一座座山
12-03 2210
focal loss用来解决样本不均衡的分类问题。 假设正样本（label=1）少，负样本多，定义focal loss如下 Loss = -[alpha*(1-y_hat)^2yln(y_hat) + (1-alpha)y_hat^2(1-y)*ln(1-y_hat)] 其中y_hat:(batch, seq, tags)，预测出的 y: (batch, seq, tags) alpha：(1, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值