Unet论文详解U-Net:Convolutional Networks for Biomedical Image Segmentation

最新推荐文章于 2024-06-17 15:47:45 发布
最新推荐文章于 2024-06-17 15:47:45 发布
阅读量4.6w 收藏 339
点赞数 43
分类专栏： 机器学习 论文解析 图像分割
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36474809/article/details/87931260
版权

背景：Unet结构在分割，重建以及GAN等网络之中被广泛采用，非常经典。网络于2015年5月提出，在后续图像分割领域广泛运用。

论文地址  https://arxiv.org/abs/1505.04597

目录

一、概览

1.1 全新方法

1.2 分割准确

1.3 速度快

二、背景

2.1 图像定位网络

2.2 基于滑窗的分割

2.3 本文方法

三、方法

3.1 网络结构

3.2 训练过程

3.3 数据增强

四、实验

4.1 评价指标

4.2 实验性能

五、结论及个人总结

六、后续相关论文及链接

R2U-Net   ,2018 CVPR

UNet++     ,2018 CVPR

Attention U-Net      ,2018 CVPR

nnU-Net      ,2019 CVPR

一、概览

1.1 全新方法

深度网络训练之中需要大量的有标样本，Unet作者提供了一种新的训练方法，可以更有效的运用相应的有标样本。

  • Contracting path：提取语义信息
  • Symmetric expanding path：确保精确定位

作者提出了一种全新的方法，全卷积网络fully convolutional network，使网络即使通过少量的训练图片也可以进行更精确的分割。网络的主要想法是通过successive layer来实现，即把pooling.

1.2 分割准确

作者通过实验验证了，网络即使通过少量样本的训练也可以在ISBI分割挑战上超越当时最好的方法(滑窗卷积网络)。

1.3 速度快

分割一个512*512大小的图片，在单显卡上只需要1秒。

二、背景

2.1 图像定位网络

近两年（2014-2015年），深度网络在一些视觉识别的任务中被广泛应用。

  •  Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep convolutional neural networks. In: NIPS. pp. 1106–1114 (2012)
  •  Girshick, R., Donahue, J., Darrell, T., Malik, J.: Rich feature hierarchies for accurate object detection and semantic segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2014)

但是深度网络受限于可得到训练集的大小及数量，更大更深的网络以及更大的数据集可以更好的提升性能。

  • Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep convolutional neural networks. In: NIPS. pp. 1106–1114 (2012)

但是更经典的运用，不仅仅受限于分类问题，也需要对目标进行定位。例如定位到每个像素点上的类别。同时，大量的训练样本（thoustands of）往往是不可得的。

2.2 基于滑窗的分割

滑窗法提出被用于判定每个pixel属于哪个class label

  • Ciresan, D.C., Gambardella, L.M., Giusti, A., Schmidhuber, J.: Deep neural networks segment neuronal membranes in electron microscopy images. In: NIPS. pp.2852–2860 (2012)

网络直接将滑窗的patchs送入，首先可以解决定位的问题，其次可以将训练数据数量可以远远大于训练集的图像的数量。

缺点：

  • 网络必须分开的对每个取窗的patch进行训练，patches之间有大量的重叠则会出现重复训练
  • 定位精确度与context之间有trade-off。大的patch需要更大的pooilng层，使得定位误差增大；同时，小的patch使得网络提取出更少的语义信息。

2.3 本文方法

创建一个全卷积网络，fully convolution network来用于提取出相应的特征。网络只需要少量的训练数据并且可以有更高的分割准确率。

  • 额外的引入了successive layer，使得pooing操作之后会跟上采样操作。
  • 高分辨率的feature可以从contractin path来与相应的上采样结合。Successive convolution层可以更好的集成更加精确的信息。
  • 上采样部分，有更多的feature channel，可以让网络有更高的分辨率。
  • 因此，expansive path与contracting path是近似对称的关系。使得网络是一个U型的结构。
  • 网络没有全连接层，只有相应的卷积层。
  • 网络的最终的分割图像是与输入像素相同的图像。运用了overlap-title策略，使得在任意图像分类上都达到无缝分类。
  • 对图片进行了镜像，使得图像边缘也能很好的分割。并且使得图片大小不再受限制与GPU内存。

三、方法

3.1 网络结构

网络左边为contracting path，右边为expansive path。

  • Contracting path为常规的3×3卷积结构，与ReLU，还有2×2的max pooling。每次下采样，都将featuremap的channel变为之前的两倍。
  • Expansive path为上采样过程，每次都是2*2的上采样卷积过程，并且将相应的feature channel减少为之前的一半。
  • 与上采样对应的下采样过程中的feature会被连接。
  • cropping过程是必需的，因为每次卷积过程边缘的像素点都会损失。
  • 最终的网络有23层的卷积层。

3.2 训练过程

运用带冲量的随机梯度下降算法(SGD)来对网络进行训练。运用较大的冲量momentum=0.99 ，这样网络训练时候 a large number of the previously seen training samples determine the update in the current optimization step

To minimize the overhead and make maximum use of the GPU memory, we favor large input tiles over a large batch size and hence reduce the batch to a single image.

Enery function

最终的energy function被定义为 pixel-wise soft-max over the final feature map，同时加了一个交叉熵函数。

其中，soft-max定义为：

  • 表示在feature channel k的激活。
  • k表示feature channel的的第k个。
  • x表示像素点，Z表示patch的大小
  • K表示类别的个数
  • 近似于maximum-function
  • 例如果 k that has the maximum activation ak(x)
  • 对于其他的k，则

图像最终在每个位置上的softmax和交叉熵结合为：

  • 对于每个像素来说，标签为：
  • Weight map为：
  • weight map在实验前阶段通过计算获得：

  • w(x)用于平衡不同类别出现的频率
  • 表示细胞与最近的边界的距离
  • 表示细胞与第二近的边界的距离。

3.3 数据增强

这部分虽然论文中提及较少，但是数据增强对于网络来讲非常重要，并且文中提到了非常实用的数据增强的方法。

因为医学样本较少，但是仍然需要网络具有平移与旋转不变性，并且对形变和灰度变化鲁棒。

  • 使用随机位移矢量在粗糙的3*3网格上(random displacement vectors on a coarse 3 by 3 grid)产生平滑形变(smooth deformations)。
  • 位移是从10像素标准偏差的高斯分布中采样的。然后使用双三次插值计算每个像素的位移。
  • 在contracting path的末尾采用drop-out 层更进一步增加数据。

四、实验

4.1 评价指标

作者在三个目标分割数据集上进行了相应的实验。并且有三种评价指标：

Pixel error

预测错误的像素点的个数除以总像素个数。对于二进制的labels，欧式距离和汉明距离结果相同。优点：简单 缺点：过分敏感，可能已经到达了较好的分割效果，却有很大的pixel error。

warping error

是一种segmention metric，基于数字拓扑领域概念，比较边界标签的另一种指标。当pixel error很大当分割效果更好可以引入warping error，主要用来衡量分割目标的拓扑形状效果。

主要来衡量分割目标的拓扑形状效果。给定L∗的pixel error，候选标注T（预测值）和参考标注L∗（实际值）的warping error可以认为是L∗和对于T最好的L∗的汉明距离。

Rand error

两个数据聚类的相似性评价方法，改造之后用来衡量分割性能，因为分割可以看作是聚成类的像素。

给定一张图片S，有n个像素点，同时有两个分割X和Y

    a：两个分割中同属于一个聚类的像素点数量

    b：两个分割中都不属于一个聚类的像素点数量

4.2 实验性能

五、结论及个人总结

Unet是分割领域最经典的论文，基本上SOTA的模型都在此基础上进行更改，非常重要。

并且在数据增扩阶段的工作也同等重要，就是基于几何形变的数据增扩。

六、后续相关论文及链接

R2U-Net   ,2018 CVPR

Md Zahangir Alom, Mahmudul Hasan, Chris Yakopcic, Tarek M. Taha, Vijayan K. Asari

Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation

论文地址：

https://arxiv.org/abs/1802.06955

UNet++     ,2018 CVPR

Zongwei Zhou, Md Mahfuzur Rahman Siddiquee, Nima Tajbakhsh, Jianming Liang

UNet++: A Nested U-Net Architecture for Medical Image Segmentation

论文地址：

https://arxiv.org/abs/1807.10165

Attention U-Net      ,2018 CVPR

Ozan Oktay, Jo Schlemper, Loic Le Folgoc, Matthew Lee

Attention U-Net: Learning Where to Look for the Pancreas

论文地址：

https://arxiv.org/abs/1804.03999

nnU-Net      ,2019 CVPR

Fabian Isensee, Jens Petersen, Simon A. A. Kohl, Paul F. Jäger, Klaus H. Maier-Hein

nnU-Net: Breaking the Spell on Successful Medical Image Segmentation

论文地址：

https://arxiv.org/abs/1904.08128v1

祥瑞Coding
关注
  • 43
    点赞
  • 踩
  • 339
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 8
    评论
专栏目录
unet_semantic_segmentation:修改后的U-Net（PyTorch）进行语义分割
03-16
在"unet_semantic_segmentation"项目中，我们看到作者对原版U-Net模型进行了可能的改进或适应，使其能够在InteractiveSegmentation数据集上进行语义分割任务。通过使用PyTorch，开发者可以高效地实现模型训练、验证...
论文阅读——U-Net论文总结与复现
无风而起的博客
11-15 2348
论文【U-Net: Convolutional Networks for Biomedical Image Segmentation】2015 MICCAI UNet是为了解决医学图像分割问题而提出的CNN模型，谷歌学术目前引用已经达到20000左右，是非常有影响力的工作。 UNet沿袭了FCN中的编码器-解码器结构，并将浅层与深层信息的融合做的更加彻底。论文中网络结构图如下： 上图的左边就是编码器部分，这里通过不断进行卷积和池化的操作将输入图像的特征图尺寸不断变小，将特征图通道数不断增加。可以看到UNe
语义分割网络系列2——Unet
xiaotiig的博客
04-08 8898
目录一级目录二级目录三级目录 一级目录 二级目录 三级目录
图像分割——U-Net论文介绍+代码（PyTorch）
最新发布
m0_74055982的博客
06-17 1452
摘要：人们普遍认为，深度网络成功需要数千样本，在本文中，提出一种网络和训练方法，它使用大量数据增强来有效使用现存的样本，我们的体系结构由一个捕获上下文的收缩路径和能够实现精确定位的对称扩展路径组成。我们证明出这个网络可以使用少量图像进行端到端训练，并且在ISBI挑战赛上优先于先前的最佳方法（滑动窗口卷积）。并且我们的网络速度很快。1介绍目前卷积神经网络的具体用途是用在分类任务上，其中对图像的输出是一个单一的类标签。
经典论文解析——Unet和Vnet——图像分割
热门推荐
Lavendelion的博客
11-17 2万+
Unet & Vnet1.Unet1.1 网络简介1.2 网络结构1.3 网络训练技巧2.Vnet2.1 网络简介2.2 网络结构   前言说点题外话，最近在实习了，所以总结整理的时间不多，之前的系列也会继续做，只是更新速度会放慢一些。我尽量还是本着以质为主的原则写博客，不弄太水的文章，希望对看过的读者能有帮助，以及对自己能有提升。   言归正传，最近实习上下班在地铁上看了两篇论文，两者相...
Unet论文总结
骜蛟的博客
11-20 8933
文章目录Unet总结一、网络结构二、主要策略2.1 编码-解码结构2.2 overlap-tile strategy2.3 weighted loss2.4 数据增强-随机弹性形变三、训练四、效果图 Unet总结 论文地址：U-Net: Convolutional Networks for Biomedical Image Segmentation Unet主要用于医学图像分割。 医学图像特点是： 数据集小（Unet只用了30张标注图片训练） touching objects（对象接近，比如说两个细
UNet论文详解分析
zx6571的博客
04-23 1万+
论文地址：https://arxiv.org/abs/1505.04597 一、概要 2015年UNet的出现使得原先需要数千个带注释的数据才能进行训练的深度学习神经网络大大减少了训练所需要的数据量，并且其针对神经网络在图像分割上的应用开创了先河。 当时神经网络在图像分类任务上已经有了较好的成果，但在很多视觉的任务中由于输出需要进行定位，也就是每个像素需要分配一个类标签，这导致成千上万的训练图像在生物医学任务中通常难以获得，从而急需要一个神经网络，它不需要那么多的数据来...
Unet论文解读
Cuibaby的博客
10-21 4163
Unet 背景介绍Unet 发表于 2015 年，属于 FCN 的一种变体，想了解 FCN 可以看我的另一篇 FCN 全卷积网络论文阅读及代码实现 。Unet 的初衷是为了解决生物医学图像方面的问题，由于效果确实很好后来也被广泛的应用在语义分割的各个方向，比如卫星图像分割，工业瑕疵检测等。Unet 跟 FCN 都是 Encoder-Decoder 结构，结构简单但很有效。Encoder 负责特征提取，你可以将自己熟悉的各种特征提取网络放在这个位置。由于在医学方面，样本收集较为困难，作者为了解决这个问题，应用
Unet系列论文总结
hasque2019的博客
09-26 4228
看了大概十篇左右Unet系列的论文，与原始Unet相比，性能虽然有一定的提升。但是模型的复杂程度也在增加，参数量、计算时间大大增多。也不是说小修小补不可以，大部分人还是做着小修小补的工作。并没有太多的亮点，哈哈哈，借用老板的话来说你就算做不出来也要学会去评判一个工作是否是个好工作。期待看到有突破性的工作。
UNet网络
qq_43369406的博客
10-17 3254
UNet
unet 论文，pdf
01-08
unet论文，用于医学图像分割。可用于细胞分割unet论文，用于医学图像分割。可用于细胞分割
Wave-U-Net:Wave-U-Net的实现，用于音频源分离
05-02
Wave-U-Net是U-Net架构对一维时域的一种改编，可以执行端到端音频源分离。 通过一系列涉及一维卷积的下采样和上采样块以及下采样/上采样过程，可以在抽象和时间分辨率的多个尺度/级别上计算特征，并进行组合以进行...
2020-CBMS-DoubleU-Net:在TensorFlow Keras中用于语义图像分割的DoubleU-Net
03-21
然后，我们将输入图像与生成的蒙版（即output1）相乘，该蒙版用作第二个修改的U-Net（UNet2）的输入，该第二个U-Net（UNet2）生成另一个生成的蒙版（output2）。最后，我们将两个掩码（输出1和输出2）连接起来，以...
Unet-of-remote-sensing-image:遥感图像的语义分割
05-17
Unet-of-remote-sensing-image针对高分辨率遥感卫星进行地物识别，主要有15类的地物类型，包括各种农作物，工业用地，河流，水源，建筑物等。利用Unet结构进行语义分割，得到各个地物类型的场景分割图像，Unet结构和...
SmaAt-UNet:论文“ SmaAt-UNet的PyTorch代码
05-09
论文代码“ SmaAt-UNet：使用小型体系结构进行降水临近预报” ， 建议的SmaAt-UNet可以在下的模型文件夹中。 在本文中，我们使用了模块（PL），该模块简化了培训过程，并允许轻松添加记录器和创建检查点。 为了...
Unet论文解读代码解读
02-24 4364
论文地址：http：//www.arxiv.org/pdf/1505.04597.pdf 论文解读 网络   架构： a。U-net建立在FCN的网络架构上，作者修改并扩大了这个网络框架，使其能够使用很少的训练图像就得到很精确的分割结果 .b。添加上采样阶段，并且添加了很多的特征通道，允许更多的原图像纹理的信息在高分辨率的层中进行传播 。U型网没有FC层，且全程使用有效的来进行卷积，这...
【语义分割】ST_Unet论文 逐步代码解读
川川自溢的博客
03-15 2443
【语义分割】ST_Unet论文 逐步代码解读
Unet论文原文
IMToxic的博客
04-09 2876
U-Net: Convolutional Networks for Biomedical Image Segmentation Abstract. There is large consent that successful training of deep net- works requires many thousand annotated training samples. In this pa- per, we present a network and training strategy tha
unet代码:u-net代码(多类别训练)-深度学习文档类资源-csdn下载
12-29
U-Net是一种用于图像分割的深度学习网络结构，常被用于医学图像分析和计算机视觉领域。U-Net网络结构可以有效地将输入图像分割为多个类别，并且在训练过程中能够达到较好的分割精度。 CSDN是一个开发者社区网站，提供了许多深度学习相关的资源和文档。其中，有一份关于U-Net代码的多类别训练文档可供下载和学习。这份文档提供了详细的说明和实现代码，帮助开发者理解并应用U-Net进行多类别图像分割任务。 在使用U-Net进行多类别训练时，我们需要准备带有标签的训练数据集。每个图像样本都包含输入图像和对应的标签图像，标签图像中每个像素都被赋予表示不同类别的标签。通过使用U-Net网络结构，我们可以将输入图像传入网络中进行训练，并根据网络输出与标签图像进行比较来计算损失，然后使用反向传播算法来更新网络参数，最终使网络能够对输入图像进行准确的多类别分割。 通过CSDN下载的U-Net代码，我们可以学习到如何搭建U-Net网络结构、如何处理输入数据、如何计算损失并进行反向传播更新参数等步骤。这份文档提供了一份较为完整的实现，并可以根据具体任务自定义网络的结构和损失函数。 总之，通过使用U-Net网络结构以及CSDN提供的多类别训练代码，我们可以快速实现并训练图像分割任务，并获得较好的分割结果。这份代码对于深度学习研究者和开发者来说，是一个非常有价值的资源。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

祥瑞Coding

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值