语义分割代码实现细节：CE_Loss 和 BCE_loss

最新推荐文章于 2024-07-27 17:29:13 发布
最新推荐文章于 2024-07-27 17:29:13 发布
阅读量3.1k 收藏 4
点赞数
文章标签： 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liu_198/article/details/126708566
版权

语义分割代码实现细节：CE_Loss

前言

本人入门cv快一年了，也参加过很多比赛，获得过名次（后面会慢慢公布比赛方案）但笔者发现：现在的水平仅仅只算是一个调参侠，对于框架内部的数理知识，仅有大概的了解，现阶段准备一遍夯实基础，一遍积累实战比赛经验。

内容

该文章主要从几个方面讲解分类任务中最常见的损失函数：交叉熵损失。

原理及公式

nn.CrossEntropyLoss()

概念：
 
交叉熵：它主要刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出，概率分布q为实际输出， H ( p , q ) H(p,q) H(p,q)为交叉熵，则
H ( p , q ) = − ∑ ( p ( x ) l o g q ( x ) + ( 1 − p ( x ) ) l o g ( 1 − q ( x ) ) H(p,q)=-\sum(p(x)log q(x)+(1-p(x))log(1-q(x)) H(p,q)=−∑(p(x)logq(x)+(1−p(x))log(1−q(x))

该损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。

代码实现

首先笔者使用torch中自带的CE loss函数，在torch中的CE_loss 自带实现了带类别权重（class weight），label smooth 功能。

	import torch
	CE_loss = torch.nn.CrossEntropyLoss()

下面讲解CE_loss 超参数设置，和输入标签 预测的数据类型要求

weight：输入1D的Tensor，代表每一个类的权重，计算损失时会分配给每个类别。
ignore_index ：用于忽略某个具体的类别
reduction ： ‘none’ | ‘mean’ | ‘sum’ 三种选项代表对于每个batch的loss进行的操作

数据类型的要求

对于pred — > 需要 torch.float32
对于tar— > 需要 torch.int64

数据维度的要求
预测维度标签
分类CC
分割CxHxWHxW

注：C是类别数

常犯的错误

  1. requires_grad == True

  2. label中只能用C类不同的数字

  3. 在语义分割任务中对于标签和输入图片的处理通常采用不同的Transform（记住不要对label采用多余的变换）

该文章主要从几个方面讲解分割任务中最常见的损失函数：BCE损失。

原理及公式

在这里插入图片描述
概念区分
在这里插入图片描述

多标签的二分类（ multi-label binary classification）c>1
单标签的二分类（ single-label binary classification）c=1

图例：
在这里插入图片描述

相同点：
每一种标签分类情况都是互斥的------->该物体是游轮 或不是游轮 （如上图所示）

不同点：

多标签的二分类------->一个物体细分很多种标签：是或不是游轮 / 是或不是白色 / …
单标签的二分类------->只有上述分类的一种情况 -->是或不是游轮

代码实现
	import torch
	BCE_loss = torch.nn.BCEWithLogitsLoss()

超参数说明：

  1. 分清64 类别 和64 个物体
  2. 分清权重的作用点

weight (Tensor, optional) – a manual rescaling weight given to the loss of each batch element. If given, has to be a Tensor of size nbatch.

pos_weight (Tensor, optional) – a weight of positive examples. Must be a vector with length equal to the number of classes.

评价指标

AP值就是PR曲线下的与坐标轴包围的面积。其中P是Precision精确率，R是Recall召回率。

  • AP50指的是IOU的值取50%，AP70同理
  • AP@50:5:95指的是IOU的值从50%取到95%，步长为5%，然后算在在这些IOU下的AP的均值
  • 在比赛中 AP10 IoU 取值10%
PR曲线

首先按照置信度排序，根据准确率和召回率，就能绘制出PR曲线（横坐标是召回率，纵坐标是精准率）：
在这里插入图片描述

参考链接：

  1. https://zhuanlan.zhihu.com/p/98785902
  2. https://blog.csdn.net/icamera0/article/details/50647465
  3. https://lixiaofeng.blog.csdn.net/article/details/80070514
  4. https://zhuanlan.zhihu.com/p/337429697
  5. https://blog.csdn.net/qq_19313495/article/details/115030614

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目Value
电脑$1600
手机$12
导管$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列
第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPEASCIIHTML
Single backticks'Isn't this fun?'‘Isn’t this fun?’
Quotes"Isn't this fun?"“Isn’t this fun?”
Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

Mon 06 Mon 13 Mon 20 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid
  • 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆
圆角长方形
菱形
  • 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.3.0 开始 我的操作 确认？ 结束 yes no
  • 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

海牛亡命天涯
关注
【AI面试】分类损失横评：CrossEntropy Loss 、Balanced Cross Entropy、 Dice Loss 和 Focal Loss
钱多多先森
05-24 1240
分类损失学习汇总
深度学习loss总结：nn.CrossEntropyLoss,nn.MSELoss,Focal_Loss,nn.KLDivLoss等
@bangbang的博客
11-19 528
交叉熵主要是用来判定实际的输出与期望的输出的接近程度，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出(target)，概率分布q为实际输出(pred),HpqH(p,q)HpqPytorch中的CrossEntropyLoss()函数而是交叉熵的另外一种方式计算得到的：Pytorch中函数的主要是将和NLLLoss最小化负对数似然函数）合并到一块得到的结果(1)首先对预测值pred进行softmax计算：其中softmax。
语义分割中的 loss function
pangxing6491的博客
02-22 132
https://zhuanlan.zhihu.com/p/101773544
VIPER架构学习
木头书屋专栏
02-12 4660
VIPER架构学习探索编程准则资源下载什么是VIPER功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 编程准则 代码...
二分类损失 - BCELoss详解
最新发布
weixin_47552266的博客
07-27 1501
BCELoss (Binary Cross-Entropy Loss) 是用于二分类问题的损失函数。它用于评估预测值和实际标签之间的差异。在 PyTorch 中，BCELoss是一个常用的损失函数。以下是 BCELoss 的详细计算过程和代码实现。
BCE Loss vs CE Loss
qq_43340256的博客
07-16 1217
上图可见，损失对网络输出的偏导数正比于S(x)-y ，当sigmoid之后的结果和真值y差的比较多的时候，梯度大，修正的更快。反之，CE Loss的值越大，表示预测概率越远离真实类别，分类效果越差。Softmax的一阶导数是指对Softmax函数求偏导数，得到一个Jacobian矩阵，表示每个输出对每个输入的偏导数。CE Loss是交叉熵损失函数的简称，它是一种常用的分类问题的损失函数，它衡量的是真实类别和预测概率之间的差异。（1）Target是one-hot形式，如[0,1,0,0]
语义分割loss汇总
frighting_ing的博客
03-08 4959
语义分割的那些loss(甚至还有ssim) 今天我们看下关于语义分割的常规losslossloss设计，其中还有多个losslossloss联合一起用的，其中就如BASNetBASNetBASNet这种显著性检测的工作，我们也分析了它的losslossloss设计。希望各位做分割的，可以在losslossloss层面，有所启发～ 交叉熵损失 Cross Entropy Loss Function 用于图像语义分割任务的最常用损失函数是像素级别的交叉熵损失，这种损失会逐个检查每个像素，将对每个像素类别的预测结
语义分割loss
weixin_43424482的博客
07-23 264
dice loss 来自 dice coefficient，是一种用于评估两个样本的相似性的度量函数，取值范围在0到1之间，取值越大表示越相似。dice2∣X⋂Y∣∣X∣∣Y∣dice∣X∣∣Y∣2∣X⋂Y∣​其中X⋂Y∣X⋂Y∣是X和Y之间的交集，∣X∣|X|∣X∣和∣Y∣|Y|∣Y∣分别表示X和Y元素的个数，分子乘2是为了保证坟墓重复计算后取值范围在[0, 1]之间。Ldice1−2。
CE Loss，BCE Loss以及Focal Loss的原理理解
Rolandxxx的博客
09-29 9727
想象画在图上就是横坐标（自变量）是随机变量。根据随机变量所属类型的不同，概率分布取不同的表现形式。
sigmoid 和 softmax，BCE与CE loss function
weixin_37721058的博客
09-15 9316
一句话概括 sigmoid 激活函数 二分类的激活函数 解决我是和不是的问题 对应二元交叉熵损失函数 softmax 激活函数 多分类的激活函数 解决我们中哪个是的问题 对应多元交叉熵损失函数 二分类推导 为什么用交叉商： 梯度下降的角度：从下面的推导过程可以看出来sigmoid对应的交叉商最后的梯度是一种残差。mse 是高斯分布的最大似然，二CE是多项式分布的最大似然。https://zhuan...
基于Python实现图像分割算法的源码+全部数据+使用说明.zip
11-17
基于Python实现图像分割算法的源码+全部数据+使用说明.zip这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 损失函数 Dice Loss: diece_loss.py Focal Loss: focal_loss....
yolov3 pytorch版本代码解析——损失函数compute_loss
qq_37470452的博客
03-10 3519
先贴一下其它教程 1.github源码版本： https://github.com/ultralytics 2.pytorch版本yolov3训练自己的数据： https://www.cnblogs.com/pprp/p/10863496.html 这个链接最下方还有 详细cfg文件讲解：https://pprp.github.io/2018/09/20/YOLO%20cfg%E6%9...
图像语义分割中常用的损失函数
qq_26623993的博客
05-24 1612
转载于集市平台：https://mp.weixin.qq.com/s/GkiV_KMWLcxiFnqFavtuwA 1. cross entropy loss        用于图像语义分割任务的最常用损失函数是像素级别的交叉熵损失，这种损失会逐个检查每个像素，将对每个像素类别的预测结果（概率分布向量）与我们的独热编码标签向量进行比较。二分类情况下称为BCELoss： 2. weighted loss   &nbs
语义分割中那些常见的loss
weixin_44095417的博客
03-20 1273
语义分割是计算机视觉中的一个任务，常用的语义分割损失函数包括： 交叉熵损失（Cross Entropy Loss） 「交叉熵损失（Cross Entropy Loss）」是在分类任务中常用的一种损失函数，也被称为负对数似然损失（Negative Log-Likelihood Loss）。它主要用于测量模型输出的概率分布与实际标签之间的差异。在语义分割任务中，交叉熵损失通常被应用于像素级别的分类。 假设有一个像素属于C类别的图像，其真实标签为one-hot编码的向量[0, 0, ..., 1, ..., 0]
CE Loss与BCE Loss的区别
Lian_Ge_Blog的博客
07-31 5612
CE Loss与BCE Loss区别 作为学习交叉熵损失函数与Focal Loss函数的补充
语义分割的奇技淫巧 - 知乎回答[转]
荷叶田田
02-22 2009
出处：有关语义分割的奇技淫巧有哪些？ - 知乎 作者：AlexL 作者的 Github 项目：liaopeiyuan/ml-arsenal-public. 项目里会有作者所有参与过的Kaggle竞赛的源代码，目前有两个Top 1% solution：TGS Salt和Quick Draw Doodle. 1. 如何优化 IoU 在分割中我们有时会去用 IoU(intersection...
CEloss对不同变量的梯度
HappinessSourceL的博客
07-03 304
1、CELoss 对 类别的梯度Cross entropy loss function is widely used in classification problem in machine learning. In this tutorial, we will discuss the gradient of it.We often use softmax function for classification problem, cross entropy loss function can be defi
【损失函数】(五) BCELoss原理 & pytorch代码解析
Lizhi_Tech的博客
08-03 4978
我们了解完CrossEntropyLoss之后，BCELoss就十分好理解了，它全称为Binary Cross Entropy Loss，顾名思义就是CrossEntropyLoss的特殊二分类情况。BCELoss的计算公式如下：其中是每个类别的权重，默认的全为1，表示该类输出的概率，表示该类的真值。实际上就是把多分类特殊化为二分类，公式与交叉熵公式相同。
常用分类损失CE Loss、Focal Loss及GHMC Loss理解与总结
chen_znn的博客
07-10 6950
常用分类损失函数总结
def get_loss(loss_args): loss_type = loss_args['type'] functional_style = re.search(r'(\w+)\((\w+)\)', loss_type) args = dict() if functional_style: func, arg = functional_style.groups() new_args = dict(loss_args) if func == 'Summed': new_args['type'] = arg return sum_loss(get_loss(new_args)) if loss_type == 'BCE': loss_class = torch.nn.BCEWithLogitsLoss if 'pos_weight' in loss_args: args['pos_weight'] = loss_args['pos_weight'] * torch.ones([]) elif loss_type == 'FocalLoss': return focal_loss_with_logits elif loss_type == 'AutoBCE': return auto_weight_bce else: raise ValueError(f"No Loss of type {loss_type} known") return loss_class(**args)是什么意思
07-14
这段代码定义了一个名为 `get_loss` 的函数，该函数用于根据给定的 `loss_args` 参数获取损失函数。 函数的功能如下： 1. 从 `loss_args` 字典中获取损失函数的类型 `loss_type`。 2. 使用正则表达式来判断损失...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值