unet论文_[论文笔记]CE-Net与PsP-Net For Semantic Seg

最新推荐文章于 2022-12-08 11:17:35 发布
最新推荐文章于 2022-12-08 11:17:35 发布
阅读量455 收藏 7
点赞数
文章标签： unet论文

写在前面

（今天我们来介绍两篇论文,以CE-Net为主,因为CE-Net用到了PsP-Net中的block,所以我们顺带一起讲一下。semantic seg是逐像素点的分类,所以某种意义上讲semantic seg也可以称为 dense seg）

《CE-Net: Context Encoder Network for 2D Medical Image Segmentation》是一篇将空洞卷积和金字塔池化结合,专门用在2D医学图像分割的paper,文章发表在IEEE transcations on medical imaging(TMI2019).

论文地址：https://arxiv.org/abs/1903.02740

代码实现(Pytroch)：https://github.com/Guzaiwang/CE-Net(官方实现)

数据集(开源)：Kaggle上肺部、视神经、视网膜(https://drive.grand-challenge.org/DRIVE/)、细胞分割。

分析问题

Unet连续的卷积和池化操作会丢掉很多空间信息(注意哦 这里分别提到了卷积和池化操作都会丢spatial info 那么下面的解决方法就是针对这两个操作分别进行改进的)

解决方法

作者提出CE-Net,主要的contribution有：

1.对Unet进行结构上的改进

  • 提出DAC(Dense Atrous Convolution)block。 利用空洞卷积,通过增大感受野获取更多high-level的info,作者说high-level的信息有助于分割精确度的提升。
  • 提出RMP(Residual Multi-kernel pooling)block。 与其说是“提出”,不如说直接拿PsP-Net中的block来用了,就是金字塔池化,利用不同kernel-size的池化操作,preserve不同scale的空间信息。

2.对Unet内部细节进行改进

encoder所有的特征提取器均采用预训练的ResNet-34(即所有的卷积操作全部变成ResNet部分结构了)替换了U-Net中直接两次卷积操作;decoder采用了bottleneck的设计(即先1*1conv先减少参数 再3*3deconv转置卷积操作 最后1*1conv还原channel )

3.泛化性

作者实验部分将CE-Net在非常多的数据集(肺结节分割、视网膜血管分割、细胞分割)上进行训练,各项指标性结果均有有效提升。

整体网络结构

edea550a746ee3d7d115b19bd011f1ca.png

CE-Net主要由feature encoder + context extractor + feature decoder三个模块组成,比起原始的Unet,本文创新点主要在context extactor这里;

context extractor(上图中红色虚线框部分)主要由DAC + RMP组成。

那下面咱们详细看一下这两个主要的block吧～

DAC block(to capture high-level semantic feature map)

还记得我们开始提出的问题吗,这个block就是针对连续的卷积操作丢失空间信息问题的。

下面先来看空洞卷积示意图,其作用就是在参数量不变的情况下增大卷积核的感受野。以下图为例,kernel同样有9个参数,从左到右第一个卷积核的感受野是3,第二个是7,第三个是11。我的理解是感受野越大那么获取的high-level信息越多,越有利于提高分割结果的准确性;而感受野越小的话丢失的细节信息越少,对小目标识别来说更有利。

e7254938f3fdd06c783b62403a4e308f.png

受到Inception-ResNet-V2和以上空洞卷积的启发,本文中作者提出了以下DAC结构：

440b45e0bb6ad84e66f97cae696cb871.png

简单解释一下Inception,它加宽(widen)了卷积操作,是一个并行结构,用不同size的卷积核分别对同一个feature map进行卷积操作,得到的结果进行concat操作,也可以叫做Multi-scale的操作。

提到了Inception加宽了卷积操作,同样的也可以加深(deepen)卷积操作,这就是何恺明大神著名的ResNet思想啦,可以使网络结构很深同时保证梯度不爆炸不消失。

那现在作者将Inception和ResNet思想结合起来,理论上讲可以同时拥有两种结构的优点。

RMP block(to detect objects at different sizes)

这个block结构上跟PsP-net是一样的。

CE-Net的RMP block如下：

24ff1edd9f1ac4a7d525e43a9f293aed.png

PsP-Net的PPM如下：

4804cd2209a43d9b004cdc4f40e12158.png

结构上都是对同一个feature map并行不同尺寸的pooling操作,最后把结果concat起来。这样可以得到不同size的feature map,为了减少训练参数每次pooling后进行一个1*1卷积。

实验结果

作者认为传统的交叉熵损失不适合小目标(即前景/背景很小)的医学图像,所以损失函数选用Diceloss+reg(正则化项用来防止网络过拟合)

作者分别对视神经、视网膜血管、肺部、细胞进行了分割实验。

先来看指标性结果：

6f1ad901aa6d55a60d0f5ad0fdde9b93.png

8d782c3e6e07a13260a7487365785cd3.png

再看一下视觉效果：

ebfb9a53a30d989dc9f7274d3149f8b2.png

3c9620140eb3c41356b0be33a2661b5c.png

无论是从指标性结果还是视觉效果上看,本文对CE-Net确实有不错的提升,而且是对各个分割任务都有提升。

关键代码解释(看注释哦～)

class CE_Net_backbone_DAC_with_inception(nn.Module):
    def __init__(self, num_classes=1, num_channels=3):
        super(CE_Net_backbone_DAC_with_inception, self).__init__()

        filters = [64, 128, 256, 512]
        resnet = models.resnet34(pretrained=True)
        self.firstconv = resnet.conv1 # Conv2d(3, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False)
        self.firstbn = resnet.bn1 
        self.firstrelu = resnet.relu
        self.firstmaxpool = resnet.maxpool
        self.encoder1 = resnet.layer1
'''
Sequential(
  (0): BasicBlock(
    (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
    (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (relu): ReLU(inplace=True)
    (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
    (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  )
  (1): BasicBlock(
    (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
    (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (relu): ReLU(inplace=True)
    (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
    (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  )
  (2): BasicBlock(
    (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
    (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (relu): ReLU(inplace=True)
    (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
    (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  )
)
'''
        self.encoder2 = resnet.layer2
        self.encoder3 = resnet.layer3
        self.encoder4 = resnet.layer4

        self.dblock = DACblock_with_inception(512)


        self.decoder4 = DecoderBlock(512, filters[2])
        self.decoder3 = DecoderBlock(filters[2], filters[1])
        self.decoder2 = DecoderBlock(filters[1], filters[0])
        self.decoder1 = DecoderBlock(filters[0], filters[0])

        self.finaldeconv1 = nn.ConvTranspose2d(filters[0], 32, 4, 2, 1)
        self.finalrelu1 = nonlinearity
        self.finalconv2 = nn.Conv2d(32, 32, 3, padding=1)
        self.finalrelu2 = nonlinearity
        self.finalconv3 = nn.Conv2d(32, num_classes, 3, padding=1)

    def forward(self, x):
        # Encoder
        x = self.firstconv(x)
        x = self.firstbn(x)
        x = self.firstrelu(x)
        x = self.firstmaxpool(x)
        e1 = self.encoder1(x)
        e2 = self.encoder2(e1)
        e3 = self.encoder3(e2)
        e4 = self.encoder4(e3)

        # Center
        e4 = self.dblock(e4)
        # e4 = self.spp(e4)

        # Decoder
        d4 = self.decoder4(e4) + e3
        d3 = self.decoder3(d4) + e2
        d2 = self.decoder2(d3) + e1
        d1 = self.decoder1(d2)

        out = self.finaldeconv1(d1)
        out = self.finalrelu1(out)
        out = self.finalconv2(out)
        out = self.finalrelu2(out)
        out = self.finalconv3(out)

        return F.sigmoid(out)

class CE_Net_backbone_inception_blocks(nn.Module):
    def __init__(self, num_classes=1, num_channels=3):
        super(CE_Net_backbone_inception_blocks, self).__init__()

        filters = [64, 128, 256, 512]
        resnet = models.resnet34(pretrained=True)
        self.firstconv = resnet.conv1
        self.firstbn = resnet.bn1
        self.firstrelu = resnet.relu
        self.firstmaxpool = resnet.maxpool
        self.encoder1 = resnet.layer1
        self.encoder2 = resnet.layer2
        self.encoder3 = resnet.layer3
        self.encoder4 = resnet.layer4

        self.dblock = DACblock_with_inception_blocks(512)


        self.decoder4 = DecoderBlock(512, filters[2])
        self.decoder3 = DecoderBlock(filters[2], filters[1])
        self.decoder2 = DecoderBlock(filters[1], filters[0])
        self.decoder1 = DecoderBlock(filters[0], filters[0])

        self.finaldeconv1 = nn.ConvTranspose2d(filters[0], 32, 4, 2, 1)
        self.finalrelu1 = nonlinearity
        self.finalconv2 = nn.Conv2d(32, 32, 3, padding=1)
        self.finalrelu2 = nonlinearity
        self.finalconv3 = nn.Conv2d(32, num_classes, 3, padding=1)

    def forward(self, x):
        # Encoder
        x = self.firstconv(x)
        x = self.firstbn(x)
        x = self.firstrelu(x)
        x = self.firstmaxpool(x)
        e1 = self.encoder1(x)
        e2 = self.encoder2(e1)
        e3 = self.encoder3(e2)
        e4 = self.encoder4(e3)

        # Center
        e4 = self.dblock(e4)
        # e4 = self.spp(e4)

        # Decoder
        d4 = self.decoder4(e4) + e3
        d3 = self.decoder3(d4) + e2
        d2 = self.decoder2(d3) + e1
        d1 = self.decoder1(d2)

        out = self.finaldeconv1(d1)
        out = self.finalrelu1(out)
        out = self.finalconv2(out)
        out = self.finalrelu2(out)
        out = self.finalconv3(out)

        return F.sigmoid(out)

思考

1.CE-Net的有效性还有待在自己的数据集上考证(毕竟实验里对这么多医学图像分割任务都有提升未免也太厉害了)

2.这两block的位置是不是可以放在encode的其他地方。比如在Unet之后有一篇Unet++发表在MICCAI,它就引入了更多的skip connection和上采样,如下图所示。按照这个思路DAC完全可以放在U-net每个doubleconv之后。

7b1fc504c82d8fe96cf55008256e51cf.png

后记

未来一周我会在自己的数据集上进行训练测试CE-net看一下其有效性,待补充...

杂

在家充电完成啦,回来继续好好学习,保持积极平稳的心态,稳步前进！今天突然想到诗经里的“投我以木桃,报之以琼瑶.匪报也,永以为好也!”写的好美啊。古人可以借诗抒情,今人也可以借知乎文章明志嘛～因为写这个文章会有一些花时间,但今后我会保持一周至少一次论文输出,加油！（这次的配图来自泰山/玉皇山顶～

以上,如果有理解不当的地方,欢迎大家批评指正呀!(乐交诤友, 鞠躬感谢！

weixin_39961855
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CE-NET详解
weixin_45622568的博客
09-07 801
首先上译文 摘要：医学图像分割是医学图像分析中的一个重要步骤。随着卷积神经网络在图像处理中的快速发展，深度学习已被用于医学图像分割，如视盘分割、血管检测、肺部分割、细胞分割等。此前，已经提出了基于U-net的方法（**U-Net包括连续池化和跨步卷积**）。然而，连续的池化和跨步卷积运算会导致一些空间信息的丢失。在本文中，我们提出了一种上下文编码器网络（称为CE-Net）（上下文编码器网络旨在将输入数据的上下文信息编码成一个有意义的表示。这个上下文信息可以包括环境信息、语义关系、依赖关系等，具体取决于任务
unet_semantic_segmentation:修改后的U-Net（PyTorch）进行语义分割
03-16
unet_semantic_segmentation 在InteractiveSegmentation数据集（PyTorch）上使用U-Net模型进行语义分割
unet 论文，pdf
01-08
unet论文，用于医学图像分割。可用于细胞分割unet论文，用于医学图像分割。可用于细胞分割
Medical Image Segmentation Review:The Success of U-Net
weixin_43921949的博客
12-08 4548
UNet的各种扩展改进方法总结
《基于U-Net结构改进的医学影像分割技术综述》学习笔记
Shirly_mmm的博客
03-10 2296
U-Net（网络结构对称，形似英文字母U）提出之初就是做医学图像分割的 后面有很多演变，比如FCN（全卷积网络，）、SegNet（旨在解决自动驾驶或者智能机器人的图像语义分割深度网络）、PSPNet（引入金字塔池化模型，是一种有效的全局上下文先验模型）、DeepLab（采用的 atrous（带孔）算法扩展感受野，获取更多的上下文信息），与FCN一样，都是encoder（负责特征提取）、decoder（解码器）的结构，结构简单并且有效。在一些类别较少的数据集上，一般使用unet来做语义分割，尤其用于二分类的
UNET家族网络之CE-Net（github复现）
qq_20373723的博客
01-11 6036
使用完毕在此整理一下代码，这里就只对有改动的地方贴一下啊，其他的直接去github上下载一下吧 https://github.com/Guzaiwang/CE-Net 数据输入文件data.py，其实没改动只是不做扩充加载了原始数据，下面会把改动的地方标为斜体，都在偏后，直接往下翻就是了。另外数据存放结构很简单如下所示： 标签就在labels里面了，和图像一一对应且同名。 """ Based...
UNet_GaN_UNet_u-net_深度学习Unet_
10-04
U-Net通俗来讲也是全卷积神经网络的一种变形，主要其结构经论文作者画出来形似字母U（见图 1），因而得名U-Net。整个神经网络主要有两部分组成：搜索路径（contracting path）和扩展路径（expanding path）。搜索...
Unet-train_UNet_Unet去噪_u-net图像分割_u-net_Unet-train
09-11
使用python的tensorflow库进行u-net进行图像去噪
U-Net_神经网络_图像去噪_u-net_
09-30
2015年提出的图像去噪方法——U-Net神经网络
U-Net.pdf Unet论文
07-02
U-Net.pdf Unet论文
学习笔记：Unet学习及训练自己的数据集
Qingkaii的博客
04-28 8553
一.语义分割 二.上采样和下采样 1.下采样的作用： （1）是减少计算量，防止过拟合。 （2）是增大感受野，使得后面的卷积核能够学到更加全局的信息。 2.下采样的方式： （1）采用stride为2的池化层，如Max-pooling和Average-pooling，目前通常使用Max-pooling，因为计算简单而且能够更好的保留纹理特征； （2）采用stride为2的卷积层，下采样的过程是一个信息损失的过程，而池化层是不可学习的，用stride为2的可学习卷积层来代替pooling可以得到更
Unet论文总结
骜蛟的博客
11-20 8550
文章目录Unet总结一、网络结构二、主要策略2.1 编码-解码结构2.2 overlap-tile strategy2.3 weighted loss2.4 数据增强-随机弹性形变三、训练四、效果图 Unet总结 论文地址：U-Net: Convolutional Networks for Biomedical Image Segmentation Unet主要用于医学图像分割。 医学图像特点是： 数据集小（Unet只用了30张标注图片训练） touching objects（对象接近，比如说两个细
RFSoC应用笔记 - RF数据转换器 -15- API使用指南之Libmetal与结构体说明
Vuko_Coding Zone
05-01 2384
写在前面 本文介绍了RFSoC RF 数据转换器的 RFdc 驱动程序的结构体的部分，以便于用户更加清楚的了解关于RF数据转换器的相关配置操作。 概述 RFSoC RF 数据转换器的 RFdc 驱动程序 API 函数。 裸机和 Linux 都使用相同的驱动程序。 两个软件平台的驱动程序都运行在 Xilinx 提供的 libmetal 软件层上。 该驱动程序由以下文件组成： API xrfdc.c：用户接口API 函数在此文件中实现。 xrfdc.h：此文件中提供了用户接口API 原型。 该文件提供了驱动
Unet论文详解U-Net:Convolutional Networks for Biomedical Image Segmentation
热门推荐
祥瑞的技术博客
11-22 4万+
背景：Unet结构在分割，重建以及GAN等网络之中被广泛采用，非常经典。网络于2015年5月提出，在后续图像分割领域广泛运用。 论文地址 https://arxiv.org/abs/1505.04597 目录 一、概览 1.1 全新方法 1.2 分割准确 1.3 速度快 二、背景 2.1 图像定位网络 2.2 基于滑窗的分割 2.3 本文方法 三、方法 3.1 网络结构 ...
UNet论文详解分析
zx6571的博客
04-23 1万+
论文地址：https://arxiv.org/abs/1505.04597 一、概要 2015年UNet的出现使得原先需要数千个带注释的数据才能进行训练的深度学习神经网络大大减少了训练所需要的数据量，并且其针对神经网络在图像分割上的应用开创了先河。 当时神经网络在图像分类任务上已经有了较好的成果，但在很多视觉的任务中由于输出需要进行定位，也就是每个像素需要分配一个类标签，这导致成千上万的训练图像在生物医学任务中通常难以获得，从而急需要一个神经网络，它不需要那么多的数据来...
CE-Net: Context Encoder Network for 2D MedicalImage Segmentation
weixin_43921949的博客
11-17 2227
更好的提取上下文信息
Unet论文解读
Cuibaby的博客
10-21 3870
Unet 背景介绍Unet 发表于 2015 年，属于 FCN 的一种变体，想了解 FCN 可以看我的另一篇 FCN 全卷积网络论文阅读及代码实现 。Unet 的初衷是为了解决生物医学图像方面的问题，由于效果确实很好后来也被广泛的应用在语义分割的各个方向，比如卫星图像分割，工业瑕疵检测等。Unet 跟 FCN 都是 Encoder-Decoder 结构，结构简单但很有效。Encoder 负责特征提取，你可以将自己熟悉的各种特征提取网络放在这个位置。由于在医学方面，样本收集较为困难，作者为了解决这个问题，应用
UNet网络
qq_43369406的博客
10-17 3156
UNet
Unet系列论文总结
hasque2019的博客
09-26 4115
看了大概十篇左右Unet系列的论文，与原始Unet相比，性能虽然有一定的提升。但是模型的复杂程度也在增加，参数量、计算时间大大增多。也不是说小修小补不可以，大部分人还是做着小修小补的工作。并没有太多的亮点，哈哈哈，借用老板的话来说你就算做不出来也要学会去评判一个工作是否是个好工作。期待看到有突破性的工作。
#!/usr/bin/env bash python3 train.py \ --data_dir <Your data dir> \ --images_folder imgs/ \ --train_annotations_file aus_dataset.pkl \ --test_annotations_file aus_dataset_test.pkl \ --generator_name unet_msf_generator \ --normtype_G instancenorm \ --discriminator_name discriminator_wgan_plus \ --normtype_D None \ --name experiment_1 \ --nepochs_no_decay 30 \ --nepochs_decay 20 \ --gpu_ids 0,1 \ --lr_D 1e-4 \ --lr_G 1e-4 \ --lr_decays_to 1e-5 \ --image_size 128 \ --batch_size 16 \ --ngf 64 \ --ndf 64 \ --cond_nc 13 \ --train_G_every_n_iterations 4 \ --lambda_D_prob 1 \ --lambda_D_cond 150 \ --lambda_D_gp 10 \ --lambda_G_fake_cond 150 \ --lambda_rec_l1 30 \ --lambda_cyc_l1 30 \ --lambda_smooth 1e-5
最新发布
07-13
根据你提供的内容，这是一个 Bash 脚本，其中调用了 `python3` 命令来运行 `train.py` 脚本，并传递了一系列参数。 在运行这个脚本之前，你需要确保以下几点： 1. Python 环境：你需要安装 Python 3，并且在命令行中可以使用 `python3` 命令来执行 Python 代码。你可以使用 `python3 --version` 命令检查 Python 版本。 2. 依赖项：脚本可能依赖一些 Python 包或库，请确保你已经安装了这些依赖项。你可以使用 `pip install package_name` 命令来安装所需的包。 3. 数据目录和文件：在运行脚本时，你需要提供正确的数据目录和文件路径。请将 `<Your data dir>` 替换为你实际的数据目录路径，并确保 `imgs/`、`aus_dataset.pkl` 和 `aus_dataset_test.pkl` 这些文件存在于指定的路径中。 4. GPU 支持：脚本中使用了 `--gpu_ids 0,1` 参数来指定在哪些 GPU 上运行训练。请确保你有可用的 GPU，并且已经安装了相应的 GPU 驱动和 CUDA 工具包。 在确认满足上述要求后，你可以在终端中运行该脚本，例如： ```bash bash train.sh ``` 这将执行 `train.sh` 脚本，并传递相应的参数给 `train.py` 脚本进行训练。请注意，你可能还需要根据自己的需求对脚本中的参数进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值