U-Net: Convolutional Networks for Biomedical Image Segmentation
U-Net: 用于生物医学图像分割的卷积网络
文章目录
简介
- 论文在FCN基础上进行扩展和修改,提出了U型对称的全卷积网络。
- 该网络在上采样部分依旧有大量的channel,拥有丰富的上下文信息。
- 该网络结合数据增强和改进的loss,在医学少量数据上,也能精确分割,且推理一张512x512的图像只需不到1秒。
一、创新点
- 在FCN模型上修改和扩展为Unet,网络能在少量数据集上获得高分割精度。
- 上采样部分依然有大量的特征通道,将空间上下文信息向更高的分辨率层传播(有skip connection)
- 使用镜像复制,为边缘的分割提供上下文信息,提供了一种无缝分割高分辨率的图像的解决思路(Overlap-tile策略)
- 根据医学图像的特点,针对地采用弹性形变的方式增加数据
- 提出一种带权重的损失(weighted loss),使得将同类别相互接触的目标分开
总结
- 在ISBI cell tracking challenge 2015上IOU精度达到最优,(0.9203 和0.7756)
- 进行了2组实验
- 在医学领域,提出了U型对称全卷积架构
二、论文链接
原文链接
[1505.04597] U-Net: Convolutional Networks for Biomedical Image Segmentation (arxiv.org)
代码链接
论文投稿期刊
相关论文
三、论文评价
- 创新:UNet模型是医学图像分割的奠基石,对于图像的细节,结合了许多浅层的信息,细节捕捉很好。像医学图像分割浅层细节很关键。但是也存在许多特征冗余,导致卷积运算量大。
- 行文:
- 论文在介绍自己方法之前,引入别人应对目前问题的解决方法,以及该方法的有效性,但转而指出该方法的缺点,进一步引入自己的方法;
- 虽然自己的方法是在FCN的基础上修改和扩展的,但是论文在介绍FCN方法的之后,强调了自己的不同,以及自己的模型的优势,能很好高效应对当前问题。
四、模型
-
Left side : a contracting path to capture context
-
Right side:a symmetric expanding path that enables precise localization
-
收缩路径使用卷积网络的典型架构,在每次下采样时,通道数加倍;扩展路径中的每个步骤都包括对特征图进行上采样,在每次上采样时,通道数量减半,与来自收缩路径的相应裁剪的特征图的串联;在最后一层,使用1x1卷积将每个64分量特征向量映射到所需的类数; 该网络总共有23个卷积层;采用无 padding 的 Conv,空间分辨率会越卷越小
-
卷积使用的是padding=0,所以会导致,每次卷积后,图像分辨率会下降。
- 因为padding=0,边界预测误差比较大,不利于过大图像切分预测最后拼接。使用边界镜像填充,可以做到无缝拼接。
- 输入图像和预测图的尺寸不一样,输入图像多出的尺寸是镜像扩充的。
- 对应论文的Overlap-tile策略
损失函数
- 带权重的损失函数,权重包括,目标边界和目标类像素的频率。
- a k ( x ) a_k(x) ak(x)是特征图的 k − t h k−th k−th通道像素点 x x x的激活值
- K K K是类别数
- 如果像素离边界比较近,那么 d 1 ( x ) d_{1}\left ( x\right ) d1(x) 和 d 2 ( x ) d_{2}\left ( x\right ) d2(x)小,w(x)比较大;如果像素离边界比较远,那么 d 1 ( x ) d d_{1}\left ( x\right )d d1(x)d 和 d 2 ( x ) d_{2}\left ( x\right ) d2(x)大,w(x)比较小,以此来达到加大边界权重的效果
数据增强
- 针对医学数据集的特性,选择的数据增强
- 移位和旋转
- 弹性变形
- 灰度值变化
训练
- SGD a high momentum (0.99)
五、实验
数据集
- the EM segmentation challenge(电子显微镜场景)
- 30 images (512x512 pixels),评价指标,warping error、Rand error、pixel error。
- a cell segmentation task in light microscopic images(光学显微镜场景)
- PhC-U373 数据集,35 partially annotated training images,评价指标 IoU
- DIC-HeLa 数据集,20 partially annotated training images,评价指标 IoU