语义分割代码实现细节：CE_Loss 和 BCE_loss

最新推荐文章于 2024-07-27 17:29:13 发布
最新推荐文章于 2024-07-27 17:29:13 发布
阅读量3.1k 收藏 4
点赞数
文章标签： 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liu_198/article/details/126708566
版权

语义分割代码实现细节：CE_Loss

前言

本人入门cv快一年了，也参加过很多比赛，获得过名次（后面会慢慢公布比赛方案）但笔者发现：现在的水平仅仅只算是一个调参侠，对于框架内部的数理知识，仅有大概的了解，现阶段准备一遍夯实基础，一遍积累实战比赛经验。

内容

该文章主要从几个方面讲解分类任务中最常见的损失函数：交叉熵损失。

原理及公式

nn.CrossEntropyLoss()

概念：
 
交叉熵：它主要刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出，概率分布q为实际输出， H ( p , q ) H(p,q) H(p,q)为交叉熵，则
H ( p , q ) = − ∑ ( p ( x ) l o g q ( x ) + ( 1 − p ( x ) ) l o g ( 1 − q ( x ) ) H(p,q)=-\sum(p(x)log q(x)+(1-p(x))log(1-q(x)) H(p,q)=−∑(p(x)logq(x)+(1−p(x))log(1−q(x))

该损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。

代码实现

首先笔者使用torch中自带的CE loss函数，在torch中的CE_loss 自带实现了带类别权重（class weight），label smooth 功能。

	import torch
	CE_loss = torch.nn.CrossEntropyLoss()

下面讲解CE_loss 超参数设置，和输入标签 预测的数据类型要求

weight：输入1D的Tensor，代表每一个类的权重，计算损失时会分配给每个类别。
ignore_index ：用于忽略某个具体的类别
reduction ： ‘none’ | ‘mean’ | ‘sum’ 三种选项代表对于每个batch的loss进行的操作

数据类型的要求

对于pred — > 需要 torch.float32
对于tar— > 需要 torch.int64

数据维度的要求
预测维度标签
分类CC
分割CxHxWHxW

注：C是类别数

常犯的错误

  1. requires_grad == True

  2. label中只能用C类不同的数字

  3. 在语义分割任务中对于标签和输入图片的处理通常采用不同的Transform（记住不要对label采用多余的变换）

该文章主要从几个方面讲解分割任务中最常见的损失函数：BCE损失。

原理及公式

在这里插入图片描述
概念区分
在这里插入图片描述

多标签的二分类（ multi-label binary classification）c>1
单标签的二分类（ single-label binary classification）c=1

图例：
在这里插入图片描述

相同点：
每一种标签分类情况都是互斥的------->该物体是游轮 或不是游轮 （如上图所示）

不同点：

多标签的二分类------->一个物体细分很多种标签：是或不是游轮 / 是或不是白色 / …
单标签的二分类------->只有上述分类的一种情况 -->是或不是游轮

代码实现
	import torch
	BCE_loss = torch.nn.BCEWithLogitsLoss()

超参数说明：

  1. 分清64 类别 和64 个物体
  2. 分清权重的作用点

weight (Tensor, optional) – a manual rescaling weight given to the loss of each batch element. If given, has to be a Tensor of size nbatch.

pos_weight (Tensor, optional) – a weight of positive examples. Must be a vector with length equal to the number of classes.

评价指标

AP值就是PR曲线下的与坐标轴包围的面积。其中P是Precision精确率，R是Recall召回率。

  • AP50指的是IOU的值取50%，AP70同理
  • AP@50:5:95指的是IOU的值从50%取到95%，步长为5%，然后算在在这些IOU下的AP的均值
  • 在比赛中 AP10 IoU 取值10%
PR曲线

首先按照置信度排序，根据准确率和召回率，就能绘制出PR曲线（横坐标是召回率，纵坐标是精准率）：
在这里插入图片描述

参考链接：

  1. https://zhuanlan.zhihu.com/p/98785902
  2. https://blog.csdn.net/icamera0/article/details/50647465
  3. https://lixiaofeng.blog.csdn.net/article/details/80070514
  4. https://zhuanlan.zhihu.com/p/337429697
  5. https://blog.csdn.net/qq_19313495/article/details/115030614

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目Value
电脑$1600
手机$12
导管$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列
第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPEASCIIHTML
Single backticks'Isn't this fun?'‘Isn’t this fun?’
Quotes"Isn't this fun?"“Isn’t this fun?”
Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

Mon 06 Mon 13 Mon 20 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid
  • 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆
圆角长方形
菱形
  • 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.3.0 开始 我的操作 确认？ 结束 yes no
  • 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

海牛亡命天涯
关注
test_5_23.rar_BCE_matlab 图像分割 甲状腺_thyroid matlab_甲状腺
09-23
在压缩包中的“test_5_23.m”文件，很可能是整个图像分割算法的MATLAB代码实现。这个脚本可能包括以下部分： 1. **数据预处理**：对输入的甲状腺图像进行预处理，如归一化、噪声过滤等，以便后续处理。 2. **种子点...
语义分割中的 loss function
pangxing6491的博客
02-22 130
https://zhuanlan.zhihu.com/p/101773544
VIPER架构学习
木头书屋专栏
02-12 4658
VIPER架构学习探索编程准则资源下载什么是VIPER功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 编程准则 代码...
二分类损失 - BCELoss详解
最新发布
weixin_47552266的博客
07-27 1424
BCELoss (Binary Cross-Entropy Loss) 是用于二分类问题的损失函数。它用于评估预测值和实际标签之间的差异。在 PyTorch 中，BCELoss是一个常用的损失函数。以下是 BCELoss 的详细计算过程和代码实现。
常用分类损失CE Loss、Focal Loss及GHMC Loss理解与总结
chen_znn的博客
07-10 6856
常用分类损失函数总结
CE Loss，BCE Loss以及Focal Loss的原理理解
Rolandxxx的博客
09-29 9647
想象画在图上就是横坐标（自变量）是随机变量。根据随机变量所属类型的不同，概率分布取不同的表现形式。
（完结篇）什么是语义分割？原理+手写代码实现？
热门推荐
weixin_46412999的博客
12-21 3万+
零基础认识语义分割，语义分割的意义？语义分割的用途？从无到有的代码实现
【pytorch损失函数（2）】CrossEntropyLoss交叉熵CE
Hali_Botebie的博客
03-06 1912
基于Pytorch实现，nn.CrossEntropyLoss()，是nn.logSoftmax()和nn.NLLLoss()的整合,可以直接使用它来替换网络中的这两个操作(此标准将LogSoftMax和NLLLoss集成到一个类中)。sigmoid对应的CE函数的反向传播就是在看我们预测值与真实值之间的差异，因此，sigmoid+CE也可以用于做数值的回归，因为反向传播本身，就是计算这两者的差异。x向量（预测）和目标分布（在错误类上为0，在正确类上为1的 one-hot 向量）表示。
focal_loss_visualization
04-19
在深度学习领域，损失函数（Loss Function）是训练模型的关键组成部分，它衡量了模型预测结果与实际目标之间的差异。在图像识别和物体检测任务中，尤其是对于密集物体检测，一个有效的损失函数能够帮助模型更好地...
细数nn.BCELoss与nn.CrossEntropyLoss的区别
09-17
nn.BCELoss（Binary CrossEntropy Loss）和nn.CrossEntropyLoss是PyTorch中常用的两种损失函数，它们在处理分类问题时有着不同的应用场景和计算方式。 nn.BCELoss主要用于二分类问题，它的全称是Binary Cross...
Focal-Loss-基于Pytorch实现Focal-Loss-附项目源码.zip
05-28
《深度学习中的Focal Loss：基于Pytorch的实现与应用》 在深度学习领域，损失函数是模型训练的核心部分，它衡量了模型预测结果与...通过深入理解其工作原理和实现细节，开发者能够更好地优化模型性能，解决实际问题。
基于Python实现图像分割算法的源码+全部数据+使用说明.zip
11-17
基于Python实现图像分割算法的源码+全部数据+使用说明.zip这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 损失函数 Dice Loss: diece_loss.py Focal Loss: focal_loss....
BCE Loss vs CE Loss
qq_43340256的博客
07-16 1206
上图可见，损失对网络输出的偏导数正比于S(x)-y ，当sigmoid之后的结果和真值y差的比较多的时候，梯度大，修正的更快。反之，CE Loss的值越大，表示预测概率越远离真实类别，分类效果越差。Softmax的一阶导数是指对Softmax函数求偏导数，得到一个Jacobian矩阵，表示每个输出对每个输入的偏导数。CE Loss是交叉熵损失函数的简称，它是一种常用的分类问题的损失函数，它衡量的是真实类别和预测概率之间的差异。（1）Target是one-hot形式，如[0,1,0,0]
CE Loss与BCE Loss的区别
Lian_Ge_Blog的博客
07-31 5600
CE Loss与BCE Loss区别 作为学习交叉熵损失函数与Focal Loss函数的补充
深度学习六 —— 手撕MSE Loss& CE Loss
weixin_43662553的博客
06-14 4436
深度学习六 —— 手撕MSE Loss& CE Loss
语义分割loss汇总
frighting_ing的博客
03-08 4950
语义分割的那些loss(甚至还有ssim) 今天我们看下关于语义分割的常规losslossloss设计，其中还有多个losslossloss联合一起用的，其中就如BASNetBASNetBASNet这种显著性检测的工作，我们也分析了它的losslossloss设计。希望各位做分割的，可以在losslossloss层面，有所启发～ 交叉熵损失 Cross Entropy Loss Function 用于图像语义分割任务的最常用损失函数是像素级别的交叉熵损失，这种损失会逐个检查每个像素，将对每个像素类别的预测结
利用pytorch来深入理解CELoss、BCELoss和NLLLoss之间的关系
zhuangyuan7838的博客
11-11 1万+
pytorch损失函数总结 损失函数为为计算预测值与真实值之间差异的函数，损失函数越小，预测值与真实值间的差异越小，证明网络效果越好。对于神经网络而言，损失函数决定了神经网络学习的走向，至关重要。 pytorch中的所有损失函数都可以通过reduction = ‘mean’或者reduction = ‘sum’来设置均值还是总值。 L1 Loss L1 Loss即绝对值损失，为预测值和真实值间误差的绝对值。 L1(x,y)=1N∑i=1n∣xi−yi∣ L1(x, y) = \frac{1}{N} \su
关于语义分割的三种常用损失函数
Sircollector的博客
04-25 604
书接上回关于标签信息的导入：jpg (bn, 3, 512, 512) 待输入进网络的内容png (bn, 512, 512) (0-20为类别，21为白边，训练时忽略)
pytorch 加权BCE_loss和加权CE_loss实现
weixin_45091814的博客
11-14 7892
加权BCE_loss用来针对类别不均衡的二分类的语义分割，对于前景像素乘以一个比较大的权重，对背景像素乘以一个比较小的权重。 我知道的有两种实现方法： 假设网络预测为inputs，标签为target 第一种： 首先计算普通的BCEloss如下 import torch import torch.nn as nn inputs = torch.rand(1,1,3,3) targets = torch.randint(1,3,(1,1,3,3)) loss = nn.BCELoss(reduction='
def get_loss(loss_args): loss_type = loss_args['type'] functional_style = re.search(r'(\w+)\((\w+)\)', loss_type) args = dict() if functional_style: func, arg = functional_style.groups() new_args = dict(loss_args) if func == 'Summed': new_args['type'] = arg return sum_loss(get_loss(new_args)) if loss_type == 'BCE': loss_class = torch.nn.BCEWithLogitsLoss if 'pos_weight' in loss_args: args['pos_weight'] = loss_args['pos_weight'] * torch.ones([]) elif loss_type == 'FocalLoss': return focal_loss_with_logits elif loss_type == 'AutoBCE': return auto_weight_bce else: raise ValueError(f"No Loss of type {loss_type} known") return loss_class(**args)是什么意思
07-14
这段代码定义了一个名为 `get_loss` 的函数，该函数用于根据给定的 `loss_args` 参数获取损失函数。 函数的功能如下： 1. 从 `loss_args` 字典中获取损失函数的类型 `loss_type`。 2. 使用正则表达式来判断损失...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值