（28）语义分割--cross-entropy loss和OhemCELoss

已于 2022-10-29 13:29:06 修改
阅读量766 收藏
点赞数
分类专栏： torch 文章标签： python 人工智能 机器学习
于 2022-10-28 13:05:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chencaw/article/details/127564559
版权

1、主要参考

（1）大佬写的很好

https://www.jianshu.com/p/24376b18e5c7

（2）二分类和多分类大佬写的很好

交叉熵损失函数_沙子是沙子的博客-CSDN博客_交叉熵损失函数

二分类交叉熵，多分类交叉熵，focal loss_jzdl的博客-CSDN博客_二分类交叉熵

（3）二分类的定义和实现

PyTorch学习笔记——二分类交叉熵损失函数 - 知乎

（4）softmax和sigmod的关系见下面，写得很好

Softmax和Sigmoid函数的区别_ciki_tang的博客-CSDN博客_softmax和sigmoid

（5）其它概念参考

Sigmoid函数_百度百科

2、什么是熵

参考某度

https://baike.baidu.com/item/%E7%86%B5/19190273?fr=aladdin

信息熵_百度百科

（1）熵 [shāng]，（英语：entropy）。泛指某些物质系统状态的一种量度，某些物质系统状态可能出现的程度。熵的概念是由德国物理学家克劳修斯于1865年提出。1923年，德国科学家普朗克（Planck）来中国讲学用到"entropy"这个词，胡刚复教授翻译时灵机一动，把“商”字加火旁来意译“entropy”这个字，创造了“熵”字（拼音：shāng）。

（2）1948年，香农将统计物理中熵的概念，引申到信道通信的过程中，从而开创了”信息论“这门学科。香农定义的“熵”又被称为“香农熵”或“信息熵”，即

    其中 i 标记概率空间中所有可能的样本，pi 表示该样本的出现几率，K是和单位选取相关的任意常数。

(3)上述公式中，如果i有32个取值范围，假设其中，p1，p2 ，　．．．，p32 分别是这 32 个球队夺冠的概率。

               S = -(p1*log(2,p1) + p2 * log(2,p2) +　．．．　+p32 *log(2,p32))

注意：当所有样本等几率出现的情况下，熵达到最大值。

3、Sigmoid函数和二分类交叉熵

3.1 sigmoid函数 

（1）sigmoid的函数如下图所示

最低0.47元/天 解锁文章
chencaw
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
​语义分割损失函数​
jacke121的专栏
11-11 2573
这里面有几个损失函数： GitHub - MichaelFan01/STDC-Seg: Source Code of our CVPR2021 paper "Rethinking BiSeNet For Real-time Semantic Segmentation" 1. 交叉熵损失 语义分割时相当于对每个像素进行分类，所以实际是一个分类任务 对每一个像素的预测值与实际值比较，将损失求平均，是所以最常用的还是交叉熵损失 self.CE=nn.CrossEntropyLoss(weig...
图像分割损失函数OhemCELoss
chen1234520nnn的博客
02-07 6281
OhemCELoss函数简介 OhemCELoss函数（ Online hard example mining cross-entropy loss 的缩写） 分割任务中的OhemCELoss函数：其实就是分类任务的交叉熵函数—>每个像素计算分类交叉熵---->根据loss选取难样本，一步一步扩展得到。 在语义分割网络中常用的损失函数，这里大概记录几个需要留意的点： 1）计算交叉熵损失时，是以一个像素点为计算单位，计算出每个像素点的交叉熵分类损失。 2）ohem难样本挖掘时，根据给定的
OhemCrossEntropyLoss（定义、步骤流程、代码实现、OHEM、CE、OHEMCE、OHEMCELoss、OHEMLoss）
Le0v1n 的博客
08-15 1708
Ohem CE Loss（定义、步骤流程、代码实现、OHEM、CE、OHEMCE、OHEMCELoss、OHEMLoss）
样本不均衡
cengjing12的博客
10-18 1511
这里主要介绍CV中的样本不均衡问题（部分方法也适用于ML中）。当前主流的物体检测算法，如Faster RCNN和SSD等，都是将物体检测当做分类问题来考虑，即先使用先验框或者RPN等生成感兴趣的区域，再对该区域进行分类与回归位置。这种基于分类思想的物体检测算法存在样本不均衡的问题，因而会降低模型的训练效率与检测精度。 下面首先分析样本不均衡带来的问题，随后会讲解两种经典的缓解不均衡问题的方法。 1、不均衡问题分析 在当前的物体检测算法中，由于检测算法各不相同，以及数据集之间的差异，可能会存在正负样本、难易样
OhemCELoss用于图像分割的OHEM交叉熵损失函数
最新发布
weixin_40198079的博客
12-05 451
OhemCELoss（Online Hard Example Mining Cross Entropy Loss）是一种在深度学习模型训练中应对类别不平衡问题的损失函数，通过在线困难样本挖掘（Online Hard Example Mining，OHEM）的策略来关注那些难以分类的样本，以增强模型对困难样本的学习效果。在图像分割问题中，以每个 pixel 的损失为最小单元，而不是 batch 中每张图片。
A Ranking-Based Cross-Entropy Loss 阅读PPT
07-12
为了解决这个问题，一项发表在《IEEE Transactions on Neural Networks and Learning Systems》（SCI一区）的研究提出了一种基于Ranking的交叉熵损失（RCE，Ranking-based Cross-Entropy Loss）方法。RCE的目标是...
ga-pso.rar_Cross entropy_GA PSO_GA-PSO
07-15
initial population algorithm main loop algorithm results algorithm PSOpop=PSOfunc
眼底血管分割with an improved cross-entropy loss function.pdf
07-17
Retinal vessel segmentation of color fundus images using multiscale convolutional neural network with an improved cross-entropy loss function
Python-Pytorch实现用于图像语义分割UNet
08-11
2. **损失函数**：通常选择交叉熵损失（Cross-Entropy Loss）作为监督信号，对于语义分割任务，可以使用像素级别的损失来计算。 3. **优化器**：Adam或SGD优化器常用于训练，设置合适的 learning rate 和 momentum。...
基于MSELoss()与CrossEntropyLoss()的区别详解
09-18
本文将详细讲解两种常用的损失函数——MSELoss（均方误差损失）和CrossEntropyLoss（交叉熵损失）之间的区别，并通过实例进行阐述。 **MSELoss（均方误差损失）**主要应用于回归问题，它衡量的是预测值与真实值之间...
OHEM，Batch Hard（识别乱入），Focal Loss
Wayne2019的博客
01-01 5373
一些别人总结的Faster R-CNN后续改进： [目标检测] Faster R-CNN 深入理解 && 改进方法汇总 Faster R-CNN改进篇（一）： ION ● HyperNet ● MS CNNTraining Region-based Object Detectors with Online Hard Example Mining 最好先阅读之前博文： Tensorflow o
【语义分割】类别不平衡损失函数合集
AI爱好者的博客，分享计算机领域相关知识
03-14 1万+
在语义分割领域，我们会常常遇到类别不平衡的问题。比如要分割的目标（前景）可能只占图像的一小部分，因此负样本的比重很大，导致网络倾向于将所有样本判断为负样本。本文介绍了在数据不平衡时常用的一些损失函数。 类别不平衡会出现什么问题呢？假设我们需要训练一个分类器来对黄豆和绿豆分类，用100颗豆子训练分类器，其中99颗黄豆、1颗绿豆，那么分类器会倾向于把所有豆子都分类为黄豆，因为这么做就可以达到99%的准确率。但是我们不希望分类器这么做，所以需要一些方法来提升分类器的性能。 一、Weighted Cross E
【损失函数】图像分割损失CELoss中添加 OHEM
豆芽菜
10-12 2158
语义分割中常用交叉熵损失CE，在应用中通常添加OHEM以获取更好的收敛（经验阈值是0.7），这里OHEM思想的来源是topk loss。
OHEM loss 源代码
pangxing6491的博客
11-22 408
ohem loss
视觉分类任务中处理不平衡问题的loss比较
热门推荐
Daniel2333的博客
10-24 2万+
问题介绍 在计算机视觉（CV）任务里常常会碰到类别不平衡的问题， 例如： 1. 图片分类任务，有的类别图片多，有的类别图片少 2. 检测任务。现在的检测方法如SSD和RCNN系列，都使用anchor机制。 训练时正负anchor的比例很悬殊. 3. 分割任务， 背景像素数量通常远大于前景像素。 从实质上来讲， 它们可以归类成分类问题中的类别不平衡问题：对图片/anchor/像素的分类
语义分割技巧：纯工程tricks
别说话写代码的博客
01-21 6331
转自：https://www.zhihu.com/question/272988870/answer/562262315 作者：AlexL 知乎问题：有关语义分割的奇技淫巧有哪些？ AlexL的回答： 代码取自在Kaggle论坛上看到的帖子和个人做过的project   1. 如何去优化IoU 在分割中我们有时会去用intersection over union去衡量模型的表现，具体定义...
focal loss和OHEM(on-line hard example mining)如何应用到faster RCNN中
Bruce_0712的博客
05-26 865
在物体检测问题中，主要分为两类检测器模型：one stage detector（SSD,YOLO系列，retinanet）和two stage detector（faster RCNN系列及其改进模型），然而无论是一个阶段的检测器还是两个阶段的检测器，都使用到了anchor机制，即在特征图上密集地画anchor boxes，根据先验知识设定的IOU阈值将这些anchor划分为正样本和负样本，再对于正样本anchor boxes进行位置编码，从而得到训练检测器所需要的ground truth label，其中
focal loss和OHEM(on-line hard example mining)如何应用到faster RCNN中
WYXHAHAHA123的博客
02-25 5563
在物体检测问题中，主要分为两类检测器模型：one stage detector（SSD,YOLO系列，retinanet）和two stage detector（faster RCNN系列及其改进模型），然而无论是一个阶段的检测器还是两个阶段的检测器，都使用到了anchor机制，即在特征图上密集地画anchor boxes，根据先验知识设定的IOU阈值将这些anchor划分为正样本和负样本，再对于...
检测模型改进—OHEM与Focal-Loss算法总结
m_buddy的博客
04-05 1万+
1. 概述 论文名称：Training Region-based Object Detectors with Online Hard Example Mining 代码地址：OHEM OHEM（online hard example miniing）算法的核心思想是： 根据输入样本的损失进行筛选，筛选出hard example，表示对分类和检测影响较大的样本，然后将筛选得到的这些样本应用在随机梯度...
cross-entropy loss
09-26
### 回答1： 交叉熵损失（Cross-entropy loss）是一种常见的用于训练分类模型的损失函数。它是通过比较模型输出的概率分布和真实标签的概率分布来计算模型预测的错误率的。当模型输出的概率分布与真实标签的概率分布接近时，交叉熵损失函数的值较小，说明模型的预测更准确。交叉熵损失函数通常与梯度下降等优化算法一起使用，用于更新模型的参数，使得模型能够更好地预测数据的标签。 ### 回答2： 交叉熵损失函数（Cross-entropy loss）是在机器学习和深度学习领域中常用的一种损失函数，用于衡量预测值与真实值之间的差异。 交叉熵损失函数基于信息论中的交叉熵概念，主要用于分类问题。对于一个多类别分类问题，假设有C个类别，每个样本都有一个真实的标签yi（0 ≤ i ≤ C-1）。对于每个样本，模型给出了一个预测结果pi（0 ≤ i ≤ C-1），表示模型对每个类别的概率估计。 交叉熵损失函数通过比较真实标签yi和预测结果pi的概率分布，来衡量两者之间的差异。具体计算方式为：将每个真实标签的概率取对数，然后乘以对应的预测结果的概率，最后取负数。将所有类别的交叉熵损失值求和，即可得到最终的损失值。 交叉熵损失函数的数学公式为：L = -∑yi*log(pi)，其中yi为真实标签的概率，pi为预测结果的概率。当预测结果与真实标签越接近时，交叉熵损失值越小。 交叉熵损失函数在深度学习中的应用非常广泛，特别是在分类任务中。通过最小化交叉熵损失函数，可以使模型的预测结果尽可能地接近真实标签，从而提高模型的准确率。由于交叉熵损失函数具有较好的数学性质，使用梯度下降等优化算法可以有效地求解最优解。 总之，交叉熵损失函数是一种用于分类问题的常用损失函数，通过衡量预测结果与真实标签之间的差异，可以帮助优化模型并提高预测准确性。 ### 回答3： 交叉熵损失函数是一种用于评估分类模型的损失函数。在机器学习和深度学习中，我们经常使用交叉熵损失函数来衡量预测结果与实际结果之间的差异。 交叉熵损失函数的计算方式是基于预测结果的概率分布和实际结果的分布之间的差异。它可以帮助我们计算出模型预测的结果与真实结果之间的距离。在分类问题中，交叉熵损失函数可以帮助我们评估模型的预测结果与实际结果之间的差异程度，越小表示模型的预测结果越接近实际结果。 交叉熵损失函数的计算公式如下： L = - sum(y * log(y_hat)) 其中，y是实际结果的概率分布，y_hat是模型预测的结果的概率分布。log表示对数函数。对于多分类问题，y和y_hat都是长度为类别数目的向量，代表了每个类别的概率。sum表示对向量中的所有元素求和。 交叉熵损失函数的优点是它可以对概率分布进行考量，而不仅仅关注预测结果的正确与否。相比于其他损失函数，如均方差损失函数，交叉熵损失函数在分类问题中更为常用。它能够帮助我们更好地解决多分类问题，提高模型的准确性。 总之，交叉熵损失函数是一种用于分类模型的损失函数，可以帮助我们计算出预测结果和实际结果之间的差异程度。它是深度学习中常用的一种损失函数，能够提高模型的性能和准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值