U-net学习笔记

已于 2023-08-18 16:31:38 修改
阅读量7.8k 收藏 39
点赞数 9
文章标签： 学习 计算机视觉 神经网络
于 2022-07-19 12:21:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45813977/article/details/125869240
版权

目录

前言

U-net简介

U-net网络架构理解

输入与输出说明

下采样

上采样以及输出

U-net的特点

谷歌Colab复现基于U-Net的眼底图像血管分割

1.环境配置

 2.数据获取及其处理

3.代码框架

3.1 数据预处理：

3.2 数据增强：

 3.3 U-net网络代码：

3.4 代码运行结果

总结

前言

        本文只是记录自己的学习过程，并不是面向技术向的硬核文章。

U-net简介

         U-net首见于这篇论文U-Net: Convolutional Networks for Biomedical，距今7年，算是比较老的模型了，但是它的引用量突破了四万，由此看来，它的重要性不言而喻。U-net初始论文的标题就告诉我们，它是一个用于医学图像分割的卷积神经网络。在医学领域，如果仅仅对图像进行分类，这是不够的。医生在对病人进行医疗诊断时，需要综合更多的信息来得出病情的判断。

        所以，U-net做的事就是，在已有图像类别的基础上，对图像进行进一步分类---即像素这一级别的分类(图像分割)，定位每个像素的类别，使图像中解剖或病理结构的变化更加清晰，最后输出根据像素点的类别而分割好的图像。

U-net网络架构理解

论文中的U-net网络架构如下：

# 上图图标以及操作讲解
蓝色图标：3*3 卷积操作 pad = 0 stride = 1  + ReLU激活函数(稀疏激活、收敛速度快、梯度计算简单)

红色图标：2*2 最大池化操作 pad = 0 stride = 2 下采样
# 每次下采样步骤后通道数翻倍，即64--->128--->256--->512--->1024  共四步

## 反卷积
反卷积本质还是卷积，并不是卷积的逆操作，而且也无法还原成原来的图像，只能还原图像的大小
绿色图标：up-Conv 上采样，每次上采样图像大小翻倍，通道数减半

青色图标：Conv 1*1 2个1×1的卷积核把64个特征通道变成2个，也就是最后的388×388×2，这里就是一个二分类的操作，
把图片分成背景和目标两个类别。

灰色图标：对左边下采样得到的特征图进行裁剪复制，与右边对应通道数的上采样输出特征图合并。

说明：在卷积过程中，我们会丢失边缘像素信息，此外，而上采样并不能恢复图像，只能恢复大小，所以需要复制
左边的特征图然后再和右边的特征图合并，弥补缺失的信息，使得最终结果更加准确。

#同样，上采样也是有四步，特点是，图像大小翻倍，通道数减半

        可以看到图中U-net的网络结构呈U形，左半部分我们称之为编码器，右半部分我们称之为解码器。编码器将图片不断压缩，分辨率变得越来越低，解码器将图像分辨率不断还原，分辨率逐步升高。下面我们针对上图，对网络操作流程进行说明。

输入与输出说明

        我们的输入图像大小为572,572单通道，输出为388,388二通道。图像分割不应该原图和输出图片大小一样吗？实质上，U-net这边做的处理是，根据预先设置的输出图像大小，然后对输入图像进行镜像填充。具体怎么做的呢？

        如上图所示，预测的分割区域在黄色区域，蓝色区域作为输入，提供更多的局部信息，但实质上我们是没有那么大的蓝色区域的，所以缺失的数据就以镜像的方式被填充了。这样的操作会带来图像重叠问题，即某一图像的周围可能会和另一张图片重叠。因此作者在卷积时只使用有效部分。

下采样

        网络左半部分为下采样，一共有四步。

#input 572*572*1 ---(卷积)--->570*570*64(ReLu激活)---(卷积)--->568*568*64(ReLu)激活
下采样
step1:568*568*64---(max pooling)--->284*284*128---(卷积)--->282*282*128(ReLu激活)---
(卷积)--->280*280*128(ReLu激活)
之后的三步与step1类似

上采样以及输出

        网络右半部分为上采样，同样有四步，与左半部分不同的是，它每次进行上采样采用的都是反卷积(pytorch总的transpose函数即可实现)，而且每次都会引入裁剪后高分辨率的图像信息。

step1：28*28*1024---(反卷积)--->56*56*512+左半部分64*64*512---(裁剪合并)=56*56*1024
 ---(卷积)--->54*54*512(ReLu激活)---(卷积)--->52*52*512(ReLu激活)
 接下来三步与上面一步类似
 
 1*1Conv：
 388*388*64--->388*388*2 将前景和背景分割出来，变成一个二分类问题

最低0.47元/天 解锁文章
cyx2learn
关注
【深度学习】Unet的基础介绍
mucheng771的博客
02-20 1727
U-Net是一种用于的深度学习模型，特别适合医学影像和其他需要分割细节的任务。
U-Net 学习笔记
danica_zou的博客
03-17 1693
U-Net 学习笔记 文章目录U-Net 学习笔记前言一、网络结构二、创新点1.overlap-tile策略2.随机弹性变形进行数据增强3.使用了加权loss结果总结 前言 U-Net在医疗图像领域很常用。医疗影像数据量少，分析过程中，高级语义信息和低级特征都很重要。 一、网络结构 整个网络呈现典型的U型结构，左边来源于FCN的结构，主要是从原始图像中卷积、下采样得到高语义的feature-map。有几个地方值得注意。 1.在卷积过程中，由于padding=valid，stride=1，导致featu
【diffusers极速入门（三）】生成的图像尺寸与 UNet 和 VAE 之间的关系
weixin_44212848的博客
06-20 3230
UNet 是一种卷积神经网络架构，最初设计用于生物医学图像分割。其结构类似于一个对称的 U 字形，由编码器（下采样）和解码器（上采样）组成。编码器逐步提取图像特征并缩小空间维度，解码器则将这些特征还原到原始的空间维度，同时逐步增加分辨率。对称结构：编码器和解码器对称分布。跳跃连接：直接将编码器的中间层输出传递到解码器的对应层，保留了高分辨率特征。多尺度特征提取：在不同尺度上提取特征，提升了网络对细节的捕捉能力。VAE 变分自编码器是一种生成模型，通过学习输入数据的潜在表示来生成新数据。编码器。
Retina U-Net: 用于医学对象检测的监督分割网络-python
06-18
Retina U-Net: 是一个完全自动化的对象检测框架。普遍物体检测器的2D + 3D实现：例如Mask R-CNN , Retina Net , Retina U-Net 。模块化和轻量级结构。确保共享所有处理步骤（包括骨干架构），以实现模型的可比性。使用边界框和/或逐像素注释进行训练。动态修补和平铺2D + 3D图像（用于训练和推理）。整合MIC-DKFZ批量生成器以进行广泛的数据增强 版权所有 :copyright: 德国癌症研究中心 (DKFZ)，医学图像计算部 (MIC)。 请确保您使用此代码符合代码许可。 概述 这是一个用于对象检测的综合框架，其特点是： 2D + 3D 实现流行的对象检测器：例如 Mask R-CNN [1]、Retina Net [2]、Retina U-Net [3]。 模块化和轻量级结构确保共享所有处理步骤（包括主干架构）以实现模型的可比性。 使用边界框和/或像素级注释进行训练。 2D + 3D 图像的动态修补和平铺（用于训练和推理）。 跨补丁重叠、集成和维度 [3] 的框预测的加权合并。 同时在对象和患者层面进行监测 + 评估。
生成多个维度数据，以仿真图片格式，作为U-net网络的输入
qq_39909808的博客
05-14 234
1.生成数据 import torch import numpy as np data = [] for i in range(20000): x=[] y=[] for i in range(16384): a = np.random.normal(loc=0.0, scale=14, size=None) b = np.random.normal(loc=0.0, scale=14, size=None) y.append(b)
U-net
qq_44324007的博客
03-12 1141
U-net
从零开始的U-net入门
nenuyear
06-11 729
目录前言一、U-net基础知识（1）ReLU函数（2）图像的卷积和反卷积（上采样）（3）池化层（下采样）（4）损失函数二、U-net入门（1）U-net的结构是怎么样的？（2）U-net的输入是什么？（3）U-net的卷积核大小、卷积核数量、卷积核中的数值、训练深度怎么确定？（4）如何解决U-net训练样本少的问题？（5）U-net可以如何改进？ 结语及U-net实现平台U-net是目前十分常用的人工智能图像分割算法，但是由于对深度学习接触得不是很深入，在看了许多直接从U-net结构开始解读的文章后仍存在不
u-net的网络结构
weixin_35755562的博客
12-16 930
U-Net是一种常用的图像分割网络架构，它由两个部分组成：下采样路径和上采样路径。 下采样路径由多个卷积和最大池化层组成，其作用是逐渐减小输入图像的特征图的大小并增加特征的抽象程度。 上采样路径由多个反卷积层和卷积层组成，它的作用是将特征图的大小恢复到原来的大小，并使用卷积层来提取输入图像的高级特征。 U-Net的结构如下图所示： 图中，蓝色的箭头表示下采样路径，红色的箭头表示上采样路径。每一个...
U-net医学分割网络——学习笔记
qq_55009448的博客
10-27 785
扩展路径中的每一步都包括特征映射的上采样，然后进行2x2卷积(“上卷积”)，将特征通道的数量减半，与收缩路径中相应裁剪的特征映射进行连接，以及两个3x3卷积，每个卷积后面都有一个ReLU。由于在每次卷积中边界像素的损失，裁剪是必要的。总体来说，U-Net 适合需要高精度和上下文信息丰富的分割任务，尤其在数据有限的医学图像领域有很大优势，但在复杂环境和边界处理上仍有改进空间。：U-Net 的对称结构结合了上下文信息和高分辨率特征，能够精确定位每个像素的类别，适用于需要高精度的分割任务。
U-net网络框架 学习笔记
m0_64290725的博客
05-06 4017
一 U-net 提出的背景及好处 原论文为：U-Net: Convolutional Networks for Biomedical Image Segmentation 1.1提出背景： Unet提出的初衷是为了解决医学图像分割的问题； 一种U型的网络结构来获取上下文的信息和位置信息 为了解决细胞层面的分割的任务 1.2在医学领域的优势 ： 1.医疗影像语义较为简单、结构固定。需要去筛选过滤无用的信息。医疗影像的所有特征都很重要，因此低级特征和高级语义特征都很重要...
U-Net: Convolutional Networks for Biomedical Image Segmentation--论文笔记
dezwb的博客
06-04 1203
人们普遍认为，深度网络的成功训练需要数千个带注释的训练样本。在本文中，我们提出了一种网络和训练策略，该策略依赖于数据增强的强大使用，以更有效地使用可用的注释样本。该体系结构包括捕获上下文的收缩路径和支持精确定位的对称扩展路径。我们表明，这样的网络可以从很少的图像中进行端到端训练，并且在ISBI挑战中优于先前的最佳方法(滑动窗口卷积网络)，以分割电子显微镜堆栈中的神经元结构。使用在透射光显微镜图像(相位对比和DIC)上训练的相同网络，我们在这些类别中以很大的优势赢得了2015年ISBI细胞跟踪挑战赛。
Python-RetinaUNet用于医学对象检测的监督分割网络
08-12
Retina U-Net: 是一个完全自动化的对象检测框架。普遍物体检测器的2D 3D实现：例如Mask R-CNN , Retina Net , Retina U-Net 。模块化和轻量级结构。确保共享所有处理步骤（包括骨干架构），以实现模型的可比性。使用边界框和/或逐像素注释进行训练。动态修补和平铺2D 3D图像（用于训练和推理）。整合MIC-DKFZ批量生成器以进行广泛的数据增强
医学检测工具包包含流行对象检测器的2D + 3D实现，例如Mask R-CNN，Retina Net，Retina U-Net，以及专注于处理医学图像的训练和推理框架。-Python开发
05-25
版权所有:copyright:德国癌症研究中心（DKFZ），医学图像计算（MIC）部门。 请确保您对本代码的使用符合代码许可。 概述这是一个全面的框架。版权所有:copyright:德国癌症研究中心（DKFZ），医学图像计算（MIC）部门。 请确保您对本代码的使用符合代码许可。 概述这是一个全面的对象检测框架，具有：流行的对象检测器的2D + 3D实现：例如Mask R-CNN [1]，Retina Net [2]，Retina U-Net [3]。 模块化和轻巧的结构，确保共享所有处理步骤（包括主干架构），以实现模型的可比性
医学小目标检测：Retina U-Net
weixin_43257313的博客
07-17 2665
论文：Retina U-Net: Embarrassingly Simple Exploitation of Segmentation Supervision for Medical Object Detection 代码：https://github.com/MIC-DKFZ/medicaldetectiontoolkit 这是一篇应用型论文，只是将U-Net和Retina 结合了一下，用于医学图像检测。 比较的模型也很少： 只是简单的用了Unet，比较老了 注：Paul F. Jaeger, Sim
推荐项目：Retina-Unet - 高精度医学影像分割神器
gitblog_00096的博客
03-29 564
推荐项目：Retina-Unet - 高精度医学影像分割神器 去发现同类优质开源项目:https://gitcode.com/ 项目简介 在上，我们发现了一个名为Retina-Unet的开源项目，它是基于深度学习的高精度医学影像分割工具。该项目旨在利用U-Net网络架构（一种在图像分割任务中表现出色的卷积神经网络）和改进的ResNet（即ResNeXt），为视网膜病灶检测以及其他医疗图像分析提供强...
关于U-Net笔记一
iamcfb_的博客
01-13 574
      U-Net 是卷积神经网络的一种变形，对医学影像进行分割（segmentation）。因其结构经论文作者画出来形似字母U而得名。       U-Net利用数据增强可以对一些比较少样本的数据进行训练，适用于医学影像。数据增强可用弹性变换方法，把原图做了弹性变形，相当与扩大了数据集。       U-Net 采用的是包含下采样和上采样的网络结构。下采样用来逐渐展现环境信息，上采样的过...
探索 Retina-Unet：一款高效图像分割工具
gitblog_00007的博客
03-29 432
探索 Retina-Unet：一款高效图像分割工具 去发现同类优质开源项目:https://gitcode.com/ 在深度学习领域，图像分割是一个重要且广泛应用的分支，它涉及到对图像中的每个像素进行分类，以识别出特定对象或区域。今天，我们将深入探讨一个名为 的开源项目，这是一个基于 TensorFlow 实现的高精度图像分割模型。 项目简介 Retina-Unet 是一个融合了 RetinaN...
Retina U-Net论文简析
Sig的博客
08-17 7227
ConcentsTitleAbstract1.Introduction2.Related work3.Methods3.1.Retina U-NetRetina NetAdding Semantic Segmentation Supervision逐像素交叉熵损失（pixel-wide cross entropy）Dice系数损失（Dice coefficient loss）Weighted Bo...
【深度学习】U-net网络结构搭建 | pytorch
weixin_46274756的博客
11-18 4597
【深度学习】U-net网络结构搭建 | pytorch
U-Net 3d
最新发布
03-19
### 3D U-Net 的概述 3D U-Net 是一种基于卷积神经网络 (CNN) 的架构，专为三维医学影像分割设计。它扩展了经典的二维 U-Net 架构，在处理体积数据时表现出优异性能[^1]。通过引入更深的层次结构以及跳跃连接机制，该模型能够有效捕捉空间上下文特征并保持高分辨率细节。 以下是有关 3D U-Net 实现、教程及其在医疗成像中的应用案例的具体说明： --- ### 3D U-Net 的实现方式 #### 数据预处理 为了适应 3D 卷积操作的要求，输入数据通常需要经过标准化和裁剪等预处理步骤。具体而言： - 将原始 CT 或 MRI 扫描转换为统一大小的体素网格。 - 对像素强度值进行归一化以提高训练稳定性。 ```python import numpy as np from skimage.transform import resize def preprocess_data(volume, target_shape=(128, 128, 64)): """Resize and normalize the input volume.""" resized_volume = resize( volume, target_shape, mode='constant', anti_aliasing=True ) normalized_volume = (resized_volume - np.min(resized_volume)) / (np.max(resized_volume) - np.min(resized_volume)) return normalized_volume[..., None] # Add channel dimension for CNN compatibility. ``` 此代码片段展示了如何调整输入数据形状以便于后续建模过程。 #### 模型定义 构建一个典型的 3D U-Net 结构涉及多个编码器层与解码器层之间的交互作用。下面给出了一种简化版本的设计方案： ```python from tensorflow.keras.layers import Input, Conv3D, MaxPooling3D, UpSampling3D, concatenate from tensorflow.keras.models import Model def create_3d_unet(input_size=(128, 128, 64, 1), num_classes=2): inputs = Input(input_size) conv1 = Conv3D(32, kernel_size=3, activation='relu', padding='same')(inputs) pool1 = MaxPooling3D(pool_size=(2, 2, 2))(conv1) conv2 = Conv3D(64, kernel_size=3, activation='relu', padding='same')(pool1) pool2 = MaxPooling3D(pool_size=(2, 2, 2))(conv2) bridge = Conv3D(128, kernel_size=3, activation='relu', padding='same')(pool2) up1 = UpSampling3D(size=(2, 2, 2))(bridge) concat1 = concatenate([up1, conv2], axis=-1) conv_up1 = Conv3D(64, kernel_size=3, activation='relu', padding='same')(concat1) up2 = UpSampling3D(size=(2, 2, 2))(conv_up1) concat2 = concatenate([up2, conv1], axis=-1) conv_up2 = Conv3D(32, kernel_size=3, activation='relu', padding='same')(concat2) outputs = Conv3D(num_classes, kernel_size=1, activation='softmax')(conv_up2) model = Model(inputs=[inputs], outputs=[outputs]) return model ``` 上述函数创建了一个基础版的 3D U-Net 网络用于分类任务。 --- ### 教程资源推荐 对于希望深入学习 3D U-Net 的开发者来说，可以参考以下公开资料： - **Kaggle Notebooks**: 平台上存在大量针对不同应用场景优化过的 Jupyter 笔记本实例[^2]。 - **PyTorch 和 TensorFlow 官方文档**: 提供详细的 API 使用指南和技术支持论坛链接。 --- ### 应用案例分析 实际项目中，3D U-Net 已成功应用于多种领域，例如脑肿瘤自动检测、肺结节识别等领域。一项研究利用 PTSNet 方法改进传统视频对象分割框架，并取得显著效果。尽管这些成果主要集中在自然场景理解方面，但其核心思想同样适用于医学图像序列处理场合。 ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值