Unet网络详解

已于 2024-03-10 17:34:38 修改
阅读量2.8w 收藏 247
点赞数 20
分类专栏： CNN 卷积神经网络 图像分割 文章标签： 人工智能 图像处理 卷积神经网络 网络 cnn 机器学习
于 2022-07-10 11:56:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_58529413/article/details/125704059
版权

Unet

  • 参考文献：U-Net: Convolutional Networks for Biomedical
    Image Segmentation
  • 作者：Olaf Ronneberger, Philipp Fischer, and Thomas Brox

什么是Unet模型

Unet是一个优秀的语义分割模型，其主要执行过程与其它语义分割模型类似。与CNN不同的之处在于CNN是图像级的分类，而unet是像素级的分类，其输出的是每个像素点的类别。

Unet损失函数

主要部分：softmax激活函数 + 带权重的交叉熵损失函数 + 权重计算函数

softmax激活函数

softmax激活函数将每个像素点的输入特征与权重做非线性叠加。每个像素点经过softmax的处理后产生的输出值个数等于标签里的类别数。softmax将每个像素点的输出值变换成值为正且和为1的概率分布，从而得到每个像素点中每个类的置信度。

交叉熵损失函数

交叉熵损失函数：用来衡量两个概率分布差异的测量函数

​ 在这里插入图片描述

在上式中，yc表示样本的真实分布，其值要么为0，要么为1，Pc表示样本的预测分布。

本论文使用的是带边界权重的交叉熵损失函数：

p是经softmax处理后的输出值；

l ：Ω → {1, . . . , K}，是每个像素的真实标签；

pl(x)(x):点x在对应的label给出的那个类别的输出的激活值。

w : Ω → R 是在训练过程中添加给每个像素的权重 。

权重计算函数

w（x）这个公式主要参考正态分布的式子。
wc（x）是预先计算每个地面真值分割，用来补偿训练数据集中每个类别的像素的不同频率；
d1是距离最近细胞边界的距离
d2是距离第二近细胞边界的距离

当d1、d2都等于0时，后面部分有最大值，且d1、d2越小，后面部分越大，即整个权重越大。当d1、d2越小，意味着越靠近细胞边界，细胞边界所占的权重越大，可以迫使网络学习。

权重的作用：权重可以调整图像中某个区域的重要程度，在计算损失的过程中，给两个细胞重合的边缘部分增加了损失的权重，以此让网络更加注重这类重合的边缘信息。

总结：首先使用softmax操作得到每个类的置信度，然后使用交叉熵来衡量预测和标号之间的差距。

Unet主要结构

在这里插入图片描述

Unet可以分为三个部分，如上图所示：

第一部分是主干特征提取部分，我们可以利用主干部分获得一个又一个的特征层，Unet的主干特征提取部分与VGG相似，为卷积和最大池化的堆叠。利用主干特征提取部分我们可以获得五个初步有效特征层，在第二步中，我们会利用这五个有效特征层可以进行特征融合。

第二部分是加强特征提取部分，我们可以利用主干部分获取到的五个初步有效特征层进行上采样，并且进行特征融合，获得一个最终的，融合了所有特征的有效特征层。

第三部分是预测部分，我们会利用最终获得的最后一个有效特征层对每一个特征点进行分类，相当于对每一个像素点进行分类。

主干特征提取网络

Unet的主干特征提取部分由卷积层+最大池化层组成，整体结构与VGG类似。

在这里插入图片描述当输入的图像大小为512x512x3的时候，具体执行方式如下：
1、conv1：进行两次[3,3]的64通道的卷积，获得一个[512,512,64]的初步有效特征层，再进行2X2最大池化，获得一个[256,256,64]的特征层。
2、conv2：进行两次[3,3]的128通道的卷积，获得一个[256,256,128]的初步有效特征层，再进行2X2最大池化，获得一个[128,128,128]的特征层。
3、conv3：进行三次[3,3]的256通道的卷积，获得一个[128,128,256]的初步有效特征层，再进行2X2最大池化，获得一个[64,64,256]的特征层。
4、conv4：进行三次[3,3]的512通道的卷积，获得一个[64,64,512]的初步有效特征层，再进行2X2最大池化，获得一个[32,32,512]的特征层。
5、conv5：进行三次[3,3]的512通道的卷积，获得一个[32,32,512]的初步有效特征层。
在这里插入图片描述

 
为什么论文中说输入图片的尺寸是512x512，而论文中的模型示意图却显示输入图片的尺寸是572x572呢？
在这里插入图片描述

镜像扩充示意图

镜像扩充示意图
 
因为图像边界的图像块没有周围像素，卷积会使图像边缘处的信息丢失，因此要对周围像素采用镜像扩充。
通俗的说就是我们原本打算输入512x512尺寸的图片，但是由于图片边缘的像素点没有周围像素（即每个方向都有相邻的像素），当用模型处理这些边缘像素点时就会产生较大的误差，为了消除这种误差，在向模型中输入图片时，输入的尺寸就会比我们实际想要输入的尺寸要大一些，我们将这种处理方法称之为镜像扩充。

加强特征提取结构

利用第一步我们可以获得五个初步的有效特征层，在加强特征提取网络这里，我们会利用这五个初步的有效特征层进行特征融合，特征融合的方式就是对特征层进行上采样并且进行堆叠。

为了方便网络的构建与更好的通用性，我们的Unet和上图的Unet结构有些许不同，在上采样时直接进行两倍上采样再进行特征融合，最终获得的特征层和输入图片的高宽相同。

在这里插入图片描述

利用特征获得预测结果

利用特征获得预测结果的过程为：
利用一个1x1卷积核进行通道调整，将最终特征层的通道数调整成num_classes。

在这里插入图片描述

代码复现

数据集：ISBI

模型训练：

在这里插入图片描述

测试集：
在这里插入图片描述
在这里插入图片描述

这篇博客保熟
关注
  • 20
    点赞
  • 踩
  • 247
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
深度学习实战69-语义分割任务实战中Unet模型的搭建、结构说明与模型训练全过程
weixin_42878111的博客
01-17 563
大家好，我是微学AI，今天给大家介绍一下深度学习实战69-语义分割任务实战中Unet模型的搭建、结构说明与模型训练全过程，U-Net是一种专为医学图像分割设计的卷积神经网络。它由Olaf Ronneberger等人在2015年提出，并迅速在生物医学图像分析领域获得广泛应用。U-Net模型的特点是其独特的“U”形结构，这种结构使得模型在保持高分辨率特征的同时，能够进行有效的上下文信息融合。
unet 网络结构
qq_40107571的博客
10-03 1万+
unet 网络结构
语义分割——Unet模型
hallobike的博客
01-11 1万+
语义分割的UNET网络结构 Unet是2015年诞生的模型，它几乎是当前segmentation项目中应用最广的模型。 Unet能从更少的训练图像中进行学习，当它在少于40张图的生物医学数据集上训练时，IOU值仍能达到92%。 Unet网络非常简单，前半部分作用是特征提取，后半部分是上采样。在一些文献中也把这样的结构叫做编码器-解码器结构。由于此网络整体结构类似于大写的英文字母U，故得名U-net。 这里的融合使用的是tf.concat()，FCN中使用的是tf.add()。 Unet实例，城
语义分割学习笔记（五）U-net网络
qq_45981086的博客
04-30 3792
输入特征图（572 x 572 x 1） --conv(3x3卷积)--> 长、宽、通道数（570 x 570 x 64）--conv(3x3卷积)--> （568 x 568 x 64）：特征图（32 x 32 x 512） --conv(3x3卷积)--> （30 x 30 x 1024）--conv(3x3卷积)--> （28 x 28 x 1024）--cope（拼接，上面中心裁剪得到的特征图）-->--max_pooling(池化)（减半）-->。--up-conv(上采样，转置卷积)-->
探索智能图像处理：深度学习模型UNet及其实现
最新发布
gitblog_00078的博客
03-21 494
探索智能图像处理：深度学习模型UNet及其实现 项目地址:https://gitcode.com/zhixuhao/unet 在机器学习和计算机视觉领域，UNet是一个广泛使用的深度学习模型，特别适合于像素级的预测任务，如图像分割、医疗影像分析等。本文将深入探讨UNet的原理、实现及其实用价值，以期吸引更多开发者探索和利用这一强大的工具。 项目简介 UNet是由Ronneberger等人在2015...
深度学习（8）之 UNet详解（附图文和代码实现）
yohnyang的博客
04-01 4804
UNet详解（附图文和代码实现）
UNet详解（附图文和代码实现）
热门推荐
weixin_45074568的博客
03-16 21万+
卷积神经网络被大规模的应用在分类任务中，输出的结果是整个图像的类标签。但是UNet是像素级分类，输出的则是每个像素点的类别，且不同类别的像素会显示不同颜色，UNet常常用在生物医学图像上，而该任务中图片数据往往较少。所以，Ciresan等人训练了一个卷积神经网络，用滑动窗口提供像素的周围区域（patch）作为输入来预测每个像素的类标签。这个网络有两个优点：（1）输出结果可以定位出目标类别的位置；（2）由于输入的训练数据是patches，这样就相当于进行了数据增强，从而解决了生物医学图像数量少的问题。 但是，
各种用于图像分割的Unet模型的实现-Unet，RCNN-Unet，Attention Unet，RCNN-Attention Unet，嵌套Unet-Python开发
05-25
各种Unet模型用于图像分割的实现-Unet，RCNN-Unet，注意力Unet，RCNN-Attention Unet，嵌套式Unet细分Unet细分-Pytorch-Nest-of-Unets各种Unet模型用于图像分割的实现UNet- U-Net：用于生物医学图像分割的卷积网络https://arxiv.org/abs/1505.04597 RCNN-UNet-基于U-Net的递归残差卷积神经网络（R2U-Net）用于医学图像分割https：// arxiv。 org / abs / 1802.06955 Attention Unet-Attention U-Net：学习在哪里寻找胰腺https://arxiv.org/abs/1804.03999 RCNN-Attentio
unet模型及代码解析
qq_43537701的博客
11-06 5万+
什么是unet 一个U型网络结构，2015年在图像分割领域大放异彩，unet被大量应用在分割领域。它是在FCN的基础上构建，它的U型结构解决了FCN无法上下文的信息和位置信息的弊端（下文细说） Unet网络结构 主干结构解析 左边为特征提取网络，右边为特征融合网络 特征提取网络 由两个3x3的卷积层（RELU）再加上一个2x2的maxpooling层组成一个下采样的模块，一共经过4次这样的操作 特征融合网络 由一层反卷积+特征拼接concat+两个3x3的卷积层（ReLU）反复构成，一共经过4次这样的操
Unet演化系列大整理
Sakura_day的博客
06-12 9860
Unet演化系列大整理： Unet是学习语义分割不可缺少的一个网络。它的对称美和简洁一直能够震撼人心。 主要摘要和前人工作： 作者发现，要进行分割任务需要很多的标注好的图片，然而标注图片是一个费时费力的过程。他提出了一个strong use of data augmentation方法能够更好的利用现有的数据。这个网络更主要是用在医疗图像分割方面。 作者说道了一个sliding-window模型。这个模型通过形成patch（其实就是通过不同大小的卷积核吧，当做滑动窗口）来对每一类像素进行预测。然而，这
Unet网络解析
m0_56192771的博客
01-16 1万+
unet网络解析
使用pytorch实现论文中的unet网络
09-16
主要介绍了使用pytorch实现论文中的unet网络，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
U3d-unet网络连接
01-12
u3d的unet网络，项目既可作客户端 也可作服务器可以实现数据通信
unet网络实现图像分割.zip
06-10
unet网络实现图像分割
3D unet CNN网络
06-10
3D的unet CNN网络，用于3D图像的分割。效果还是不错的
UNet网络训练数据集，DRIVE
09-06
训练UNet网络，找这个DRIVE数据集找了好久，终于找到了，就跟大家分享一下
深度学习：目标分割｜UNet网络模型及案例实现
m0_58475958的博客
08-15 1万+
1 UNet网络架构 UNet网络由左编码部分，右解码部分和下两个卷积+激活层组成 编码部分 从图中可知：架构中是由4个重复结构组成：2个3x3卷积层，非线形ReLU层和一个stride为2的2x2 max pooling层（图中的蓝箭头，红箭头） 每一次下采样特征通道的数量加倍 解码部分 和编码层类似，反卷积也有4个重复结构组成 每个重复结构前先使用反卷积，每次反卷积后特征通道数量减半，特征图大小加倍（绿箭头） 反卷积之后，反卷积的结果和编码部分对应步骤的特征图拼接起来（白/蓝块） 如果编
语义分割3__基于Mobile网络的Unet模型详解以及训练自己的Unet模型（划分斑马线）
我是天才很好
07-28 1万+
文章目录1. 什么是Unet模型2. Unet模型的代码实现2.1、主干模型Mobilenet2.2、Unet的Decoder解码部分3. 代码测试4. 训练文件详解5. LOSS函数的组成6. 训练代码6.1、文件存放方式6.2、训练文件6.3、预测文件7. 训练结果 1. 什么是Unet模型 Unet是一个语义分割模型，其主要执行过程与其它语义分割模型类似，首先利用卷积进行下采样，然后提取出一层又一层的特征，利用这一层又一层的特征，其再进行上采样，最后得出一个每个像素点对应其种类的图像。 看如下这幅图我
UNet网络实现及解析
qq_39210987的博客
09-06 6756
UNet网络实现及解析 简介  Unet是受到FCN启发针对医学图像做语义分割， 且可以利用少量的数据学习到一个对边缘提取十分鲁棒的模型， 在生物医学图像分割领域有很大作用。 网络结构   网络结构如下图：   如上图其结构如英文字母u，所以被命名为unet。其建立在FCN的架构上， 首先是从左侧输入开始的一系列卷积层，这里主要有5层，目的是用来提取图片的特征， 这里可以使用vgg或者resnet等经典的特征提取网络。然后是右侧的结构， 首先从最下层开始将提取出的特征进行上采样，上采样后的特征与其上一层的
unet代码详解pytorch
05-05
UNet是一种用于图像分割的卷积神经网络，其结构类似于自编码器。在这个网络中，输入图像被编码成一个较小的向量，然后被解码为分割图像。UNet的特点是具有对称的编解码结构，同时也具备跳跃连接，这使得网络能够更好地捕捉到不同层次的特征信息。 下面是一个基于PyTorch实现的UNet模型的代码详解： 首先，我们需要导入所需的库： ```python import torch import torch.nn as nn import torch.nn.functional as F ``` 接下来，我们定义UNet的编码器和解码器部分： ```python class EncoderBlock(nn.Module): def __init__(self, in_channels, out_channels): super(EncoderBlock, self).__init__() self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1) self.bn1 = nn.BatchNorm2d(out_channels) self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1) self.bn2 = nn.BatchNorm2d(out_channels) self.pool = nn.MaxPool2d(kernel_size=2, stride=2) def forward(self, x): x = F.relu(self.bn1(self.conv1(x))) x = F.relu(self.bn2(self.conv2(x))) out = self.pool(x) return out, x class DecoderBlock(nn.Module): def __init__(self, in_channels, out_channels): super(DecoderBlock, self).__init__() self.upconv = nn.ConvTranspose2d(in_channels, out_channels, kernel_size=2, stride=2) self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1) self.bn1 = nn.BatchNorm2d(out_channels) self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1) self.bn2 = nn.BatchNorm2d(out_channels) def forward(self, x, encoder_output): x = self.upconv(x) x = torch.cat([x, encoder_output], dim=1) x = F.relu(self.bn1(self.conv1(x))) out = F.relu(self.bn2(self.conv2(x))) return out ``` EncoderBlock和DecoderBlock都是基本的卷积块，其中EncoderBlock用于向下采样图像，DecoderBlock用于向上采样图像。在EncoderBlock中，我们使用2个卷积层和1个最大池化层来减小图像的大小。在DecoderBlock中，我们使用一个转置卷积层和2个卷积层来增加图像的大小。在解码器中，我们还使用了跳跃连接，将编码器输出的特征图与解码器的输入特征图连接起来。 接下来，我们定义完整的UNet模型： ```python class UNet(nn.Module): def __init__(self, num_classes=1): super(UNet, self).__init__() self.enc1 = EncoderBlock(3, 64) self.enc2 = EncoderBlock(64, 128) self.enc3 = EncoderBlock(128, 256) self.enc4 = EncoderBlock(256, 512) self.center = nn.Conv2d(512, 1024, kernel_size=3, padding=1) self.bn = nn.BatchNorm2d(1024) self.dec4 = DecoderBlock(1024, 512) self.dec3 = DecoderBlock(512, 256) self.dec2 = DecoderBlock(256, 128) self.dec1 = DecoderBlock(128, 64) self.final = nn.Conv2d(64, num_classes, kernel_size=1) def forward(self, x): enc1, out1 = self.enc1(x) enc2, out2 = self.enc2(enc1) enc3, out3 = self.enc3(enc2) enc4, out4 = self.enc4(enc3) center = self.center(enc4) center = self.bn(center) dec4 = self.dec4(center, out4) dec3 = self.dec3(dec4, out3) dec2 = self.dec2(dec3, out2) dec1 = self.dec1(dec2, out1) final = self.final(dec1) return final ``` 其中，我们将4个EncoderBlock和4个DecoderBlock连接起来，中间加入了一个卷积层和BatchNormalization层。 最后，我们可以使用该模型进行图像分割： ```python model = UNet(num_classes=2) inputs = torch.randn((1, 3, 256, 256)) outputs = model(inputs) print(outputs.shape) ``` 这里我们使用了一个大小为256x256的RGB图像进行测试，并输出了模型的输出形状。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

这篇博客保熟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值