U-Net论文解析

最新推荐文章于 2025-04-04 23:33:51 发布
最新推荐文章于 2025-04-04 23:33:51 发布
阅读量5.3k 收藏 21
点赞数 3
文章标签： 计算机视觉 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gom168/article/details/121266640
版权

U-Net 论文解析

前言

文章摘要部分的说明：
（1）利用少量数据集完成了训练（利用了数据增强的技术）
（2）通过一个压缩路径一个扩展路径构成了一个U-Net，前者用来捕获上下文，后者用来精确定位。
（3）成果：在2015年的ISBI挑战赛上获得了冠军（电子显微细胞分割）

一、介绍部分解读

（1）问题：深度学习网络会由于数据集的限制和网络的规模限制而无法训练——Krizhevsky训练了一个八层的神经网络含有百万个参数/ImageNet的出现得到解决
（2）相比较于分类问题，医学图片分割：输出需要包含每个像素的位置
——Ciresan训练了一个网络利用滑动窗口来提供附近位置的数据进而训练

优点：该网络实现了定位，同时很好的扩充了数据集
缺点：运行慢，因为每个patch单独运行，同时patch有大量的重叠部分；
在定位精度上和上下文的使用上需要进行权衡

（3）针对上述问题，提出了新的网络——全卷积网络（该网络架构为突破点1 ）
网络优势：只使用少数的图片就可以进行精准的分割
在这里插入图片描述其中左半部分为压缩路径，右半部分为扩展路径。
1.对于前面的网络的缺点（1）其通过一个镜像复制的方式，将网络再次放到了右边，这样可以增加了分辨率，防止上采样过程中数据的丢失。
2.左边的网络基本上是两次卷积一次max pool，然后feature map的数量也不断扩增为之前的一倍。这个过程进行了特征的提取
3.然后到右边网络不断上采样，上采样后先和左边的镜像复制合并，再进行两次卷积，到最上层，最后通过一个1*1的卷积进行输出。

优势：

  1. 无全连接层
  2. 镜像拼接很好的处理了边缘问题
  3. 上采样部分通过特征通道到高分辨层

（4）数据增强：最重要的是应用随机的弹性变换，这部分后面会再次说明

（5）对于损失进行加权：强化对紧密连接的细胞的学习

二、网络架构

1.基本构成

压缩路径和扩展路径
在这里插入图片描述

2.压缩路径

（1）对于网络的左半部分，每一层由连续的两个3*3的卷积核进行卷积（无padding）
（2）卷积后经过relu层，然后经过maxpooling（stride=2）
上面的一次操作可以理解为一次下采样，同时会加倍feature map

3.扩展路径

（1）先用2* 2的卷积核进行上采样，这样减半了feature channels
（2）然后是两个3* 3的卷积核，伴随着一个relu
（3）重点：伴随着一个从同层的压缩路径传来的镜像复制：这样很好的弥补了边界损失
（4）选取输入为576*576的原因是，可以让每一层maxpooling都是对于偶数层进行操作的，这样就减少了边缘损失

三、训练

  1. 选取大的输入块，小的batchsize，好处是可以减少开销，同时更加充分的利用GPU

  2. 采取高惯性m=0.99保证前面的层数会直接影响到后面的层级

  3. Energy function:
    在这里插入图片描述现在像素级上使用了softmax，之后又通过cross entropy function进行了损失计算

  4. 对于像素级进行了加权，通过预估计的方式，用来补偿对于不同像素点学习频率不同的情况，这样保证了对于边界的学习。
    在这里插入图片描述计算公式如下，其中w0初始化为10 ，σ ≈ 5 pixels.

  5. 初始化权重：选取高斯分布，标准差为sqrt(2/N)的分布中提取。其中本U-Net的N为3* 3 * 64 = 576

4.数据增强

  1. 平移、旋转
  2. 灰度变化
  3. 随机弹性变化：在3*3网络上随机（选取高斯分布中 标准差为10pixels）位移向量生成光滑的变形，每个像素层使用双三次插值来进行变化
  4. 收缩层末端：使用dropout

四、应用

（1）电子显微镜下的神经元结构分割：
数据集：30张图片
结果：2015的ISBI中拿下第一，其Warping Error达到第一

以下参考了https://zhuanlan.zhihu.com/p/128539526
在这里插入图片描述在这里插入图片描述pixel error 则是根据每个像素位置计算分类错误的数量。

pixel error过于敏感，会考虑所有分割细节，warping error 和 Rand error则相对缓和，更倾向于形态和整体的分割质量，在生物医学图像分割上是较为合理的评价指标。

（2）在细胞分类光显微图像中，在PhC-U373数据中和DIC-HeLa的平均IorU都有不错的表现。

五、研究思路分析

1.要解决的问题

医学上的细胞分割（本质是图像分割问题）

2.面对问题

（1）如何解决使用少的训练数据完成训练
（2）如何尽可能的提高精度问题，这也带来了如何处理边缘的问题

3.操作

（1）对于问题1，其很关键的一点是利用了数据加强，除了一些常规操作，作者认为随机弹性变化起到了很重要的作用
（2）对于精度问题，首先是边缘问题，U-Net的构建利用镜像的一种copy，既保证了边缘数据不丢失，同时又利用下采样的过程保留了特征。并且对于边缘问题其还采用了一种加权的方式进行了处理。
（3）构建好网络，紧接着训练的时候做了一些处理，这在第三部分都有所陈述。
（4）最后是实验的成果分析：其采用了四个指标，分别是wraping error、rand error 和pixel error 以及IOU四个指标

拐小七
关注
机器学习笔记 - U-Net论文解读
学以致用 知行合一
06-04 1052
我们架构中的一个重要修改是，在上采样部分，我们还有大量的特征通道，这允许网络将上下文信息传播到更高分辨率的层。因此，扩展路径或多或少与收缩路径对称，并产生u形架构。网络没有任何全连接层，只使用每个卷积的有效部分，即分割图只包含输入图像中完整上下文可用的像素。该策略允许通过重叠平铺策略无缝分割任意大的图像（参见图2）。为了预测图像边界区域的像素，通过镜像输入图像来推断缺失的上下文。这种平铺策略对于将网络应用于大图像很重要，因为否则分辨率将受到GPU内存的限制。......
论文解读：U-Net: Convolutional Networks for Biomedical Image Segmentation
海不辞水故其深
06-02 2355
要点 1. 提出了U-Net和一种依赖于数据增强的训练策略，能更加高效地使用有限的标注样本。 2. U-Net由一条捕捉上下文信息的收缩路径和一条提供精准定位的对称路径组成。 3. 这种网络拥有从极少图像训练样本中学习的能力，支持端到端的训练，且预测过程所需时间非常短。 读引言 研究背景   尽管在视觉识别类任务中深度卷积神经网络已经取得了巨大的成功，但是这些成果都受到训练数据和网络结构的大小的限制。   CNN的代表性应用场景就是分类任务，其输出往往只是一个类别标签，但对于许多视觉任务（特别是生物医学
UNet 浅析
晓野豬
09-28 4万+
文章目录1. UNet网络结构2. UNet网络结构特点3. Skip Connection4. 医学图像分割数据集ISBI（果蝇电镜图）【参考】 1. UNet网络结构 2. UNet网络结构特点 （1）U型网络结构； （2）跳层连接（Skip connection）； 3. Skip Connection （1）在上采样过程中融合下采样过程中的特征图； （2）融合方式为concatenate，按特征图通道数进行叠加； （3）在实际中，融合的两张特征图尺寸可能不同，一般可采用裁剪和padding（UNe
【UNET】
最新发布
ml_plgg的博客
04-04 1541
UNET教程
U-net论文详解
ARYAD的博客
08-11 1664
U-net 论文：《U-Net: Convolutional Networks for Biomedical Image Segmentation》 提交日期：2015年5月 论文链接：https://arxiv.org/abs/1505.04597v1 U-net 是基于FCN的一个语义分割网络,适合用来做医学图像的分割。U-Net是比较早的使用全卷积网络进行语义分割的算法之一，论文中使用包含能够捕获上下文语义的压缩路径和可实现精确定位的扩展路径的对称U形结构。 特点：从很少的图像端到端地进行训练，且优于
【论文阅读】U-Net论文详解
想当咸鱼的猫
12-27 4467
U-Net论文详解 U-Net结构由一个用于捕获上下文信息的压缩路径和一个支持精确定位的对称扩展路径构成。实验结果表明可以从很少的图像进行端到端的训练，并在ISBI挑战上优于先前最优的方法(滑动窗口卷积网络)，并获得了冠军 1. 背景介绍 卷积网络的典型应用是分类任务，其中图像的输出是一个单一的类标签。然而在许多视觉任务中，特别是生物医学图像处理中，期望的输出应该包含定位，即给每一个像素点分配一个类标签。 于是滑动窗口卷积网络通过提供像素点周围的局部区域来预测每个像素的类别标签。但是这样的方法存在两个缺
U-Net: Convolutional Network for Biomedical Image Segmentation 论文详解
Lrc123
04-25 274
U-Net 论文结构 前人研究 Hence, Cireasan 的滑动窗口法：一次选定部分图片，然后滑动计算，最后拼接得到一个比原来还大的图片。 得出两个明显的缺点： 1、必须分批分割图片训练，重叠部分计算有冗余 2、定位准确性和context使用量不可兼得 解释： 1、图片选取的部分越大，pooling 的层数就相应地增多，导致信息丢失地越多，定位越不准确； 2、图片选取部分越小，netwo...
论文精读及分析：U-Net: Convolutional Networks for Biomedical Image Segmentation
dugudaibo的博客
10-03 1万+
Abstract 在本文中我们提出了一种依赖于使数据更有效率从被利用到的增强方法。在U-net的结构中，包括捕获一个上下文信息的收缩路径和一个允许精确定位的对称拓展路径。这种方法可以使用非常少的数据完成端到端的训练，并获得最好的效果。 Introduction CNN 存在很久了，但是已知受限于对于数据量要求过大和神经网络的规模，并没有获得很大的成功，直至 Krizhevsky 才开始成功。但是...
U-Net论文学习
南桥几经秋
06-21 2013
1、标题 U-Net: Convolutional Networks for Biomedical Image Segmentation U-Net：用于生物医学图像分割的卷积网络 2、概述 3、网络结构
基于 U-Net 网络的遥感图像语义分割_郭子睿1
08-04
综上所述，郭子睿的这篇学士学位论文探讨了如何利用 U-Net 网络进行遥感图像的语义分割，提出了一种有效的类别平衡策略来处理数据不平衡问题。这种深度学习方法为遥感图像的自动分析和理解提供了新的可能，对提升...
论文解析[3] U-Net and its variants for Medical Image Segmentation : A short review
默的博客
09-24 1289
论文解析，本论文是一篇使用U-Net及其变形进行医学图像分割的简短综述，文中给出了关于医学图像分割逐步发展的俯瞰图，也讨论了深度神经网络的挑战和成功。在本文的最后我们将会看到医学图像分割（medical image segmentation，MIS）目前的挑战和未来的方向。
三维U-Net:从稀疏标注学习密集体积分割
needyn的博客
04-03 1092
分割网络。本文介绍了一种从稀疏标注的体积图像中学习的体积我们概述了该方法的两个有吸引力的用例:(1)在半自动设置中，用户注释要分割的卷中的一些切片。该网络从这些稀疏注释中学习，并提供密集的3D分割。(2)在全自动设置中，我们假设存在一个有代表性的、稀疏注释的训练集。在此数据集上训练，网络密集分割新的体积图像。该网络扩展了Ronneberger等人提出的u-net架构，将所有2D操作替换为3D操作。该实现在训练期间执行动态弹性变形以实现有效的数据增强。
论文：U-Net
xxiaozr的博客
07-24 1812
Abstract:        提出一个依赖于数据增强的方法来更有效的应用标注样本。我们的结构包括一个收缩路径来获得上下文信息和一个对称的扩张路径进行精确地定位，类似于autoencoder。 1.Introduction:        在很多生物成像领域，输出需要包括定位信息，即每一个像素的类别都要知道，同时，样本数在生物医学领域比较少。[1] 提出了一个方法，通过提供一个 local...
U-Net论文
weixin_38440272的博客
12-03 426
      采用了多尺度的方式，该论文提出是用来做医学图像细胞分割的。提出少量样本即可实现训练。 1.这个模型的输入image进行了边界镜像处理。 2.loss更改 因为这里医学图像的细胞边界容易分割错误，因此给边界的细胞线加了权重。 权重： 分类（softmax）： 变形的加权交叉熵： 3.模型更改 这里的是concat，而FCN为add 4.数据增强...
论文笔记之U-net详细介绍
h1239757443的博客
06-12 2922
U-net是一种编码器-解码器结构。编码器逐渐减少池化层的空间维度，解码器逐步修复物体的细节和空间维度。编码器和解码器之间通常存在快捷连接，因此能帮助解码器更好地修复目标的细节。U-Net 是这种方法中最常用的结构。 蓝色代表卷积和激活函数, 绿色代表复制, 红色代表下采样, 黄色代表上采样然后在卷积,conv1X1代表核为1X1的卷积操作，这个网络没有全连接，只有卷积和下采样，这也是一个端到端的图像, 即输入是一幅图像, 输出也是一副图像。上采样和下采样的卷积核都是3X3,进行pooling的时候采用m
【深度学习论文】：U-Net
热门推荐
谢军的博客
05-03 7万+
U-Net在深度学习应用到计算机视觉领域之前，人们使用 TextonForest 和 随机森林分类器进行语义分割。卷积神经网络（CNN）不仅对图像识别有所帮助，也对语义分割领域的发展起到巨大的促进作用。语义分割任务最初流行的深度学习方法是图像块分类（patch classification），即利用像素周围的图像块对每一个像素进行独立的分类。使用图像块分类的主要原因是分类网络通常是全连接层（full
U-Net论文总结
ysl_ysl123的博客
06-24 488
U-Net简介       \space\space\space\space\space\space      U-Net网络是以解决生物医学图像像素级分类（分割）问题为目的提出的网络。论文中提到Ciresan et al. 之前提出的滑窗网络，通过每个像素周围patch的类别来...
U-net问题
jhb1021821368的博客
07-01 271
一.标注 1.labelme：缺少生成"info.yaml"文件，以及labelme使用 https://blog.csdn.net/winter616/article/details/104426111/
第一次运行U-Net遇到的问题
qq_41772084的博客
03-13 432
用自己笔记本跑的 epoch21的时候出错，有篇博客分析原因是内存溢出，我这的提示描述的和人家不一样 我也不知道什么原因，也把30改成了20，然后训练，预测全灰，网上搜索说是因为样本少、迭代次数少。我迭代次数确实少，增加迭代次数试试。 ...
u-net++
03-22
<think>好的，我现在要介绍一下U-Net++，但之前对它的了解可能还不够深入，得先理清楚思路。首先，U-Net++是基于U-Net的改进版本，所以得先回顾一下U-Net的基本结构。U-Net是2015年提出的，主要用于医学图像分割，它的结构像一个U型，左侧是编码器，进行下采样提取特征，右侧是解码器，上采样恢复分辨率，并通过跳跃连接将编码器的特征图与解码器的结合，帮助保留细节信息。 那U-Net++的改进点在哪里呢？根据记忆，可能是在跳跃连接部分做了优化。原来的U-Net是直接将编码器对应层的特征图连接到解码器，但U-Net++可能引入了密集连接或者更复杂的结构。比如，跳跃连接不再是直接连接，而是通过多个卷积层和上采样层组成的密集块。这样不同层次的特征可以得到更好的融合，可能提升分割精度，尤其是对于不同尺度的目标。 另外，U-Net++可能引入了深监督机制，允许在多个层次进行损失计算，这样可以在训练时更有效地优化网络参数，尤其是在较深的层和较浅的层之间平衡学习。不过需要确认这个点是否正确，或者是否属于另一个变体如U-Net3+的结构。 接下来需要确认U-Net++的结构细节。根据论文，U-Net++的架构在跳跃路径上添加了密集卷积块，每个块由多个卷积层组成，并且每个块的输出会与前面所有块的特征图进行融合，这样形成嵌套的密集跳跃路径。这种设计可能减少了语义差距，因为编码器和解码器之间的特征融合更加紧密，不同尺度的特征可以更好地结合起来。 另外，U-Net++中的每个解码器层都连接到所有更底层的编码器层，而不仅仅是同一级别的层。这可能需要通过上采样和卷积操作来调整特征图的大小，使得不同分辨率的特征能够被有效整合。这样网络可以捕捉到更丰富的上下文信息，有助于提高分割的准确性，尤其是在边缘部分。 关于深监督，U-Net++是否在每个子网络输出都添加了损失函数？记得论文中提到，在训练时可以剪枝网络，即在测试时去掉某些分支，通过深监督使得每个子网络都能独立产生有意义的分割结果。这可能在提高效率的同时保持性能，或者在资源受限的情况下选择较浅的结构。 需要验证这些点是否正确，比如U-Net++是否确实采用了嵌套的密集跳跃连接和深监督机制。另外，是否有其他关键结构，比如是否使用了批量归一化、激活函数的选择等。此外，U-Net++的性能提升主要体现在哪些数据集上，比如医学图像中的细胞分割、器官检测等，可能比原U-Net有更高的IoU或Dice系数。 最后，要总结U-Net++的优势和可能的缺点。优势包括更精细的特征融合、多尺度信息的高效利用、模型可剪枝等；缺点可能是计算量增加，模型参数更多，训练时间更长。不过可能通过剪枝在测试时减少计算负担。 现在需要将这些信息组织成结构清晰的回答，确保符合用户给出的格式要求，比如数学表达式正确使用$...$和$$...$$，同时用中文表达，分步骤介绍。</think>U-Net++是一种用于图像分割的深度学习架构，尤其适用于医学图像分析。它是在经典U-Net的基础上通过改进跳跃连接和引入密集嵌套结构来优化特征融合的模型。以下是其核心特点与原理的分步解析： --- ### **1. U-Net 基础回顾** U-Net（2015）由编码器（下采样）和解码器（上采样）组成，形似字母“U”： - **编码器**：通过卷积和池化逐步提取高层语义特征。 - **解码器**：通过上采样和卷积恢复空间分辨率。 - **跳跃连接**：将编码器各层的特征图直接拼接到解码器对应层，保留细节信息。 数学上，跳跃连接可表示为： $$ x_{\text{decoder}}^{(l)} = \text{Concat}\left(x_{\text{encoder}}^{(l)}, \text{Up}(x_{\text{decoder}}^{(l+1)})\right) $$ 其中，$x^{(l)}$表示第$l$层的特征图，$\text{Up}$为上采样操作。 --- ### **2. U-Net++ 的核心改进** #### **(1) 嵌套密集跳跃连接** U-Net++在跳跃路径中引入**密集卷积块**，形成多层级联结构： - **特征融合方式**：编码器每一层的特征会通过多个卷积层逐步与所有更深层的解码器特征融合。 - **数学表达**：设$H$为卷积操作，$U$为上采样，则第$i$层到第$j$层的连接输出为： $$ x_{i,j} = H\left(\text{Concat}\left(x_{i-1,j}, U(x_{i,j+1})\right)\right) $$ 其中$i$为编码器层级，$j$为跳跃连接的子层。 #### **(2) 深监督（Deep Supervision）** - **多输出监督**：在多个子网络输出端添加损失函数，允许模型从不同深度学习特征。 - **剪枝能力**：训练后可根据计算资源剪枝部分分支，保持轻量化的同时维持性能。 --- ### **3. U-Net++ 的结构优势** - **减少语义鸿沟**：密集连接使编码器和解码器特征逐步融合，缓解了浅层与深层特征的不匹配问题。 - **多尺度特征整合**：通过嵌套结构融合不同分辨率特征，提升对小目标和边界的敏感度。 - **灵活性与鲁棒性**：深监督机制增强了模型对不同任务的适应性，剪枝特性则平衡了精度与效率。 --- ### **4. 性能与应用** - **医学图像分割**：在细胞分割（如DSB2018）、器官检测（如肝脏CT）等任务中，U-Net++的Dice系数比U-Net提升约3-5%。 - **计算代价**：参数量较U-Net增加约30%，但通过剪枝可减少推理时间。 --- ### **5. 代码示例（PyTorch 片段）** ```python class DenseBlock(nn.Module): def __init__(self, in_channels): super().__init__() self.conv1 = nn.Conv2d(in_channels, 64, kernel_size=3, padding=1) self.conv2 = nn.Conv2d(64, 64, kernel_size=3, padding=1) def forward(self, x): x1 = F.relu(self.conv1(x)) x2 = F.relu(self.conv2(x1)) return torch.cat([x, x2], dim=1) # 密集连接 ``` --- ### **总结** U-Net++通过**嵌套密集连接**和**深监督**解决了U-Net的特征融合不足问题，在医学图像分割中表现出更高的精度，但需权衡计算成本。其设计思想对后续模型（如U-Net3+）有重要启发。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值