目录
前言
本文只是记录自己的学习过程,并不是面向技术向的硬核文章。
U-net简介
U-net首见于这篇论文U-Net: Convolutional Networks for Biomedical,距今7年,算是比较老的模型了,但是它的引用量突破了四万,由此看来,它的重要性不言而喻。U-net初始论文的标题就告诉我们,它是一个用于医学图像分割的卷积神经网络。在医学领域,如果仅仅对图像进行分类,这是不够的。医生在对病人进行医疗诊断时,需要综合更多的信息来得出病情的判断。
所以,U-net做的事就是,在已有图像类别的基础上,对图像进行进一步分类---即像素这一级别的分类(图像分割),定位每个像素的类别,使图像中解剖或病理结构的变化更加清晰,最后输出根据像素点的类别而分割好的图像。
U-net网络架构理解
论文中的U-net网络架构如下:
# 上图图标以及操作讲解
蓝色图标:3*3 卷积操作 pad = 0 stride = 1 + ReLU激活函数(稀疏激活、收敛速度快、梯度计算简单)
红色图标:2*2 最大池化操作 pad = 0 stride = 2 下采样
# 每次下采样步骤后通道数翻倍,即64--->128--->256--->512--->1024 共四步
## 反卷积
反卷积本质还是卷积,并不是卷积的逆操作,而且也无法还原成原来的图像,只能还原图像的大小
绿色图标:up-Conv 上采样,每次上采样图像大小翻倍,通道数减半
青色图标:Conv 1*1 2个1×1的卷积核把64个特征通道变成2个,也就是最后的388×388×2,这里就是一个二分类的操作,
把图片分成背景和目标两个类别。
灰色图标:对左边下采样得到的特征图进行裁剪复制,与右边对应通道数的上采样输出特征图合并。
说明:在卷积过程中,我们会丢失边缘像素信息,此外,而上采样并不能恢复图像,只能恢复大小,所以需要复制
左边的特征图然后再和右边的特征图合并,弥补缺失的信息,使得最终结果更加准确。
#同样,上采样也是有四步,特点是,图像大小翻倍,通道数减半
可以看到图中U-net的网络结构呈U形,左半部分我们称之为编码器,右半部分我们称之为解码器。编码器将图片不断压缩,分辨率变得越来越低,解码器将图像分辨率不断还原,分辨率逐步升高。下面我们针对上图,对网络操作流程进行说明。
输入与输出说明
我们的输入图像大小为572,572单通道,输出为388,388二通道。图像分割不应该原图和输出图片大小一样吗?实质上,U-net这边做的处理是,根据预先设置的输出图像大小,然后对输入图像进行镜像填充。具体怎么做的呢?
如上图所示,预测的分割区域在黄色区域,蓝色区域作为输入,提供更多的局部信息,但实质上我们是没有那么大的蓝色区域的,所以缺失的数据就以镜像的方式被填充了。这样的操作会带来图像重叠问题,即某一图像的周围可能会和另一张图片重叠。因此作者在卷积时只使用有效部分。
下采样
网络左半部分为下采样,一共有四步。
#input 572*572*1 ---(卷积)--->570*570*64(ReLu激活)---(卷积)--->568*568*64(ReLu)激活
下采样
step1:568*568*64---(max pooling)--->284*284*128---(卷积)--->282*282*128(ReLu激活)---
(卷积)--->280*280*128(ReLu激活)
之后的三步与step1类似
上采样以及输出
网络右半部分为上采样,同样有四步,与左半部分不同的是,它每次进行上采样采用的都是反卷积(pytorch总的transpose函数即可实现),而且每次都会引入裁剪后高分辨率的图像信息。
step1:28*28*1024---(反卷积)--->56*56*512+左半部分64*64*512---(裁剪合并)=56*56*1024
---(卷积)--->54*54*512(ReLu激活)---(卷积)--->52*52*512(ReLu激活)
接下来三步与上面一步类似
1*1Conv:
388*388*64--->388*388*2 将前景和背景分割出来,变成一个二分类问题