U-Net(2015)论文笔记

U-Net: Convolutional Networks for Biomedical Image Segmentation

U-Net: 用于生物医学图像分割的卷积网络

link:参考bolg

简介

  • 论文在FCN基础上进行扩展和修改,提出了U型对称的全卷积网络。
  • 该网络在上采样部分依旧有大量的channel,拥有丰富的上下文信息。
  • 该网络结合数据增强和改进的loss,在医学少量数据上,也能精确分割,且推理一张512x512的图像只需不到1秒。

一、创新点

  • 在FCN模型上修改和扩展为Unet,网络能在少量数据集上获得高分割精度。
  • 上采样部分依然有大量的特征通道,将空间上下文信息向更高的分辨率层传播(有skip connection)
  • 使用镜像复制,为边缘的分割提供上下文信息,提供了一种无缝分割高分辨率的图像的解决思路(Overlap-tile策略
  • 根据医学图像的特点,针对地采用弹性形变的方式增加数据
  • 提出一种带权重的损失(weighted loss),使得将同类别相互接触的目标分开

总结

  • 在ISBI cell tracking challenge 2015上IOU精度达到最优,(0.9203 和0.7756)
  • 进行了2组实验
  • 在医学领域,提出了U型对称全卷积架构

二、论文链接

原文链接

[1505.04597] U-Net: Convolutional Networks for Biomedical Image Segmentation (arxiv.org)

代码链接

pytorch-unet

论文投稿期刊

相关论文

三、论文评价

  • 创新:UNet模型是医学图像分割的奠基石,对于图像的细节,结合了许多浅层的信息,细节捕捉很好。像医学图像分割浅层细节很关键。但是也存在许多特征冗余,导致卷积运算量大。
  • 行文:
    • 论文在介绍自己方法之前,引入别人应对目前问题的解决方法,以及该方法的有效性,但转而指出该方法的缺点,进一步引入自己的方法;
    • 虽然自己的方法是在FCN的基础上修改和扩展的,但是论文在介绍FCN方法的之后,强调了自己的不同,以及自己的模型的优势,能很好高效应对当前问题。

四、模型

在这里插入图片描述

  • Left side : a contracting path to capture context

  • Right side:a symmetric expanding path that enables precise localization

  • 收缩路径使用卷积网络的典型架构,在每次下采样时,通道数加倍;扩展路径中的每个步骤都包括对特征图进行上采样,在每次上采样时,通道数量减半,与来自收缩路径的相应裁剪的特征图的串联;在最后一层,使用1x1卷积将每个64分量特征向量映射到所需的类数; 该网络总共有23个卷积层;采用无 padding 的 Conv,空间分辨率会越卷越小

  • 卷积使用的是padding=0,所以会导致,每次卷积后,图像分辨率会下降。

    • 因为padding=0,边界预测误差比较大,不利于过大图像切分预测最后拼接。使用边界镜像填充,可以做到无缝拼接。
    • 输入图像和预测图的尺寸不一样,输入图像多出的尺寸是镜像扩充的。
    • 对应论文的Overlap-tile策略
    • 在这里插入图片描述

损失函数

  • 带权重的损失函数,权重包括,目标边界和目标类像素的频率。
    在这里插入图片描述
    • a k ( x ) a_k(x) ak(x)是特征图的 k − t h k−th kth通道像素点 x x x的激活值
    • K K K是类别数

在这里插入图片描述在这里插入图片描述

  • 如果像素离边界比较近,那么 d 1 ( x ) d_{1}\left ( x\right ) d1(x) d 2 ( x ) d_{2}\left ( x\right ) d2(x)小,w(x)比较大;如果像素离边界比较远,那么 d 1 ( x ) d d_{1}\left ( x\right )d d1(x)d d 2 ( x ) d_{2}\left ( x\right ) d2(x)大,w(x)比较小,以此来达到加大边界权重的效果

数据增强

  • 针对医学数据集的特性,选择的数据增强
    • 移位和旋转
    • 弹性变形
    • 灰度值变化

训练

  • SGD a high momentum (0.99)

五、实验

数据集

  • the EM segmentation challenge(电子显微镜场景)
    • 30 images (512x512 pixels),评价指标,warping error、Rand error、pixel error。
  • a cell segmentation task in light microscopic images(光学显微镜场景)
    • PhC-U373 数据集,35 partially annotated training images,评价指标 IoU
    • DIC-HeLa 数据集,20 partially annotated training images,评价指标 IoU

具体实验

实验1(不同模型精度比较)

在这里插入图片描述

实验2(不同模型精度比较)

在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值