unet论文_[论文笔记]CE-Net与PsP-Net For Semantic Seg

最新推荐文章于 2024-09-25 11:05:20 发布
最新推荐文章于 2024-09-25 11:05:20 发布
阅读量499 收藏 7
点赞数
文章标签： unet论文

写在前面

（今天我们来介绍两篇论文,以CE-Net为主,因为CE-Net用到了PsP-Net中的block,所以我们顺带一起讲一下。semantic seg是逐像素点的分类,所以某种意义上讲semantic seg也可以称为 dense seg）

《CE-Net: Context Encoder Network for 2D Medical Image Segmentation》是一篇将空洞卷积和金字塔池化结合,专门用在2D医学图像分割的paper,文章发表在IEEE transcations on medical imaging(TMI2019).

论文地址：https://arxiv.org/abs/1903.02740

代码实现(Pytroch)：https://github.com/Guzaiwang/CE-Net(官方实现)

数据集(开源)：Kaggle上肺部、视神经、视网膜(https://drive.grand-challenge.org/DRIVE/)、细胞分割。

分析问题

Unet连续的卷积和池化操作会丢掉很多空间信息(注意哦 这里分别提到了卷积和池化操作都会丢spatial info 那么下面的解决方法就是针对这两个操作分别进行改进的)

解决方法

作者提出CE-Net,主要的contribution有：

1.对Unet进行结构上的改进

  • 提出DAC(Dense Atrous Convolution)block。 利用空洞卷积,通过增大感受野获取更多high-level的info,作者说high-level的信息有助于分割精确度的提升。
  • 提出RMP(Residual Multi-kernel pooling)block。 与其说是“提出”,不如说直接拿PsP-Net中的block来用了,就是金字塔池化,利用不同kernel-size的池化操作,preserve不同scale的空间信息。

2.对Unet内部细节进行改进

encoder所有的特征提取器均采用预训练的ResNet-34(即所有的卷积操作全部变成ResNet部分结构了)替换了U-Net中直接两次卷积操作;decoder采用了bottleneck的设计(即先1*1conv先减少参数 再3*3deconv转置卷积操作 最后1*1conv还原channel )

3.泛化性

作者实验部分将CE-Net在非常多的数据集(肺结节分割、视网膜血管分割、细胞分割)上进行训练,各项指标性结果均有有效提升。

整体网络结构

edea550a746ee3d7d115b19bd011f1ca.png

CE-Net主要由feature encoder + context extractor + feature decoder三个模块组成,比起原始的Unet,本文创新点主要在context extactor这里;

context extractor(上图中红色虚线框部分)主要由DAC + RMP组成。

那下面咱们详细看一下这两个主要的block吧～

DAC block(to capture high-level semantic feature map)

还记得我们开始提出的问题吗,这个block就是针对连续的卷积操作丢失空间信息问题的。

下面先来看空洞卷积示意图,其作用就是在参数量不变的情况下增大卷积核的感受野。以下图为例,kernel同样有9个参数,从左到右第一个卷积核的感受野是3,第二个是7,第三个是11。我的理解是感受野越大那么获取的high-level信息越多,越有利于提高分割结果的准确性;而感受野越小的话丢失的细节信息越少,对小目标识别来说更有利。

e7254938f3fdd06c783b62403a4e308f.png

受到Inception-ResNet-V2和以上空洞卷积的启发,本文中作者提出了以下DAC结构：

440b45e0bb6ad84e66f97cae696cb871.png

简单解释一下Inception,它加宽(widen)了卷积操作,是一个并行结构,用不同size的卷积核分别对同一个feature map进行卷积操作,得到的结果进行concat操作,也可以叫做Multi-scale的操作。

提到了Inception加宽了卷积操作,同样的也可以加深(deepen)卷积操作,这就是何恺明大神著名的ResNet思想啦,可以使网络结构很深同时保证梯度不爆炸不消失。

那现在作者将Inception和ResNet思想结合起来,理论上讲可以同时拥有两种结构的优点。

RMP block(to detect objects at different sizes)

这个block结构上跟PsP-net是一样的。

CE-Net的RMP block如下：

24ff1edd9f1ac4a7d525e43a9f293aed.png

PsP-Net的PPM如下：

4804cd2209a43d9b004cdc4f40e12158.png

结构上都是对同一个feature map并行不同尺寸的pooling操作,最后把结果concat起来。这样可以得到不同size的feature map,为了减少训练参数每次pooling后进行一个1*1卷积。

实验结果

作者认为传统的交叉熵损失不适合小目标(即前景/背景很小)的医学图像,所以损失函数选用Diceloss+reg(正则化项用来防止网络过拟合)

作者分别对视神经、视网膜血管、肺部、细胞进行了分割实验。

先来看指标性结果：

6f1ad901aa6d55a60d0f5ad0fdde9b93.png

8d782c3e6e07a13260a7487365785cd3.png

再看一下视觉效果：

ebfb9a53a30d989dc9f7274d3149f8b2.png

3c9620140eb3c41356b0be33a2661b5c.png

无论是从指标性结果还是视觉效果上看,本文对CE-Net确实有不错的提升,而且是对各个分割任务都有提升。

关键代码解释(看注释哦～)

class CE_Net_backbone_DAC_with_inception(nn.Module):
    def __init__(self, num_classes=1, num_channels=3):
        super(CE_Net_backbone_DAC_with_inception, self).__init__()

        filters = [64, 128, 256, 512]
        resnet = models.resnet34(pretrained=True)
        self.firstconv = resnet.conv1 # Conv2d(3, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False)
        self.firstbn = resnet.bn1 
        self.firstrelu = resnet.relu
        self.firstmaxpool = resnet.maxpool
        self.encoder1 = resnet.layer1
'''
Sequential(
  (0): BasicBlock(
    (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
    (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (relu): ReLU(inplace=True)
    (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
    (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  )
  (1): BasicBlock(
    (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
    (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (relu): ReLU(inplace=True)
    (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
    (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  )
  (2): BasicBlock(
    (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
    (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
    (relu): ReLU(inplace=True)
    (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
    (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  )
)
'''
        self.encoder2 = resnet.layer2
        self.encoder3 = resnet.layer3
        self.encoder4 = resnet.layer4

        self.dblock = DACblock_with_inception(512)


        self.decoder4 = DecoderBlock(512, filters[2])
        self.decoder3 = DecoderBlock(filters[2], filters[1])
        self.decoder2 = DecoderBlock(filters[1], filters[0])
        self.decoder1 = DecoderBlock(filters[0], filters[0])

        self.finaldeconv1 = nn.ConvTranspose2d(filters[0], 32, 4, 2, 1)
        self.finalrelu1 = nonlinearity
        self.finalconv2 = nn.Conv2d(32, 32, 3, padding=1)
        self.finalrelu2 = nonlinearity
        self.finalconv3 = nn.Conv2d(32, num_classes, 3, padding=1)

    def forward(self, x):
        # Encoder
        x = self.firstconv(x)
        x = self.firstbn(x)
        x = self.firstrelu(x)
        x = self.firstmaxpool(x)
        e1 = self.encoder1(x)
        e2 = self.encoder2(e1)
        e3 = self.encoder3(e2)
        e4 = self.encoder4(e3)

        # Center
        e4 = self.dblock(e4)
        # e4 = self.spp(e4)

        # Decoder
        d4 = self.decoder4(e4) + e3
        d3 = self.decoder3(d4) + e2
        d2 = self.decoder2(d3) + e1
        d1 = self.decoder1(d2)

        out = self.finaldeconv1(d1)
        out = self.finalrelu1(out)
        out = self.finalconv2(out)
        out = self.finalrelu2(out)
        out = self.finalconv3(out)

        return F.sigmoid(out)

class CE_Net_backbone_inception_blocks(nn.Module):
    def __init__(self, num_classes=1, num_channels=3):
        super(CE_Net_backbone_inception_blocks, self).__init__()

        filters = [64, 128, 256, 512]
        resnet = models.resnet34(pretrained=True)
        self.firstconv = resnet.conv1
        self.firstbn = resnet.bn1
        self.firstrelu = resnet.relu
        self.firstmaxpool = resnet.maxpool
        self.encoder1 = resnet.layer1
        self.encoder2 = resnet.layer2
        self.encoder3 = resnet.layer3
        self.encoder4 = resnet.layer4

        self.dblock = DACblock_with_inception_blocks(512)


        self.decoder4 = DecoderBlock(512, filters[2])
        self.decoder3 = DecoderBlock(filters[2], filters[1])
        self.decoder2 = DecoderBlock(filters[1], filters[0])
        self.decoder1 = DecoderBlock(filters[0], filters[0])

        self.finaldeconv1 = nn.ConvTranspose2d(filters[0], 32, 4, 2, 1)
        self.finalrelu1 = nonlinearity
        self.finalconv2 = nn.Conv2d(32, 32, 3, padding=1)
        self.finalrelu2 = nonlinearity
        self.finalconv3 = nn.Conv2d(32, num_classes, 3, padding=1)

    def forward(self, x):
        # Encoder
        x = self.firstconv(x)
        x = self.firstbn(x)
        x = self.firstrelu(x)
        x = self.firstmaxpool(x)
        e1 = self.encoder1(x)
        e2 = self.encoder2(e1)
        e3 = self.encoder3(e2)
        e4 = self.encoder4(e3)

        # Center
        e4 = self.dblock(e4)
        # e4 = self.spp(e4)

        # Decoder
        d4 = self.decoder4(e4) + e3
        d3 = self.decoder3(d4) + e2
        d2 = self.decoder2(d3) + e1
        d1 = self.decoder1(d2)

        out = self.finaldeconv1(d1)
        out = self.finalrelu1(out)
        out = self.finalconv2(out)
        out = self.finalrelu2(out)
        out = self.finalconv3(out)

        return F.sigmoid(out)

思考

1.CE-Net的有效性还有待在自己的数据集上考证(毕竟实验里对这么多医学图像分割任务都有提升未免也太厉害了)

2.这两block的位置是不是可以放在encode的其他地方。比如在Unet之后有一篇Unet++发表在MICCAI,它就引入了更多的skip connection和上采样,如下图所示。按照这个思路DAC完全可以放在U-net每个doubleconv之后。

7b1fc504c82d8fe96cf55008256e51cf.png

后记

未来一周我会在自己的数据集上进行训练测试CE-net看一下其有效性,待补充...

杂

在家充电完成啦,回来继续好好学习,保持积极平稳的心态,稳步前进！今天突然想到诗经里的“投我以木桃,报之以琼瑶.匪报也,永以为好也!”写的好美啊。古人可以借诗抒情,今人也可以借知乎文章明志嘛～因为写这个文章会有一些花时间,但今后我会保持一周至少一次论文输出,加油！（这次的配图来自泰山/玉皇山顶～

以上,如果有理解不当的地方,欢迎大家批评指正呀!(乐交诤友, 鞠躬感谢！

weixin_39961855
关注
Unet
03-20
Unet网络 model.py包含网络结构result1 / result代表不同的模型读取文件，一个是基于自然图像的模型读取，文件格式[224,224,3]，一个是医学图像[512,512,1] train.py训练文件
CE-Net论文笔记
east_fence的博客
11-26 1380
先放上原文地址：https://arxiv.org/abs/1903.02740 在阅读这篇博文之前，建议先了解FCN和U-Net （参考《Fully Convolutional Networks for Semantic Segmentation》、《U-Net: Convolutional Networks for Biomedical Image Segmentation》) 一、这篇文章的...
神经网络（四）：UNet图像分割网络
最新发布
悟兰因的博客
09-25 2683
UNet网络是一种用于图像分割的卷积神经网络，其特点是采用了U型网络结构，因此称为UNet。编码器：逐步提取输入图像的特征并降低空间分辨率。解码器：通过上采样操作将特征图恢复到原始输入图像的尺寸，并逐步生成分割结果。【CNN角度的编码器、解码器】以卷积神经网络为例，输入为一个猫，进行特征提取后输出图片类别。编码器：完成对输入图片中猫的特征提取。解码器：将特征提取的结果解码为分类结果。【RNN角度的编码器、解码器】以循环神经网络LSTM为例，输入为一个文本，进行特征提取再输出。
CE-Net: Context encoder network for 2D medical image segmentation
liguandong
03-15 7623
CE-Net: Context encoder network for 2D medical image segmentation Abstract: 医学图像分割是医学图像分析中的重要步骤。随着卷积神经网络在图像处理中的快速发展，深度学习已被用于医学图像分割，如视盘分割，血管检测，肺部分割，细胞分割等。以前，已经提出了基于U-net的方法。 。然而，连续的汇集和跨步卷积操作导致一些空间信息的丢...
CE-Net论文学习笔记
热门推荐
文森特的博客
07-23 1万+
原文：https://arxiv.org/abs/1903.02740 代码：https://github.com/Guzaiwang/CE-Net 摘要： 基于U-Net的方法不断被提出，但是，连续的池化和卷积导致部分空间信息的丢失。本文提出一种上下文编码网络(称为CE-Net)来捕获更多高级信息并保留空间信息用于2D医学图像分割。CE-Net主要包含三个模块：特征编码模块，上下文提取模块和特征...
【论文笔记】——CE-Net简单总结
jandyhan的博客
08-27 1507
1.论文部分 论文链接：CE-Net: Context Encoder Network for 2D Medical Image Segmentation 总的来说这篇论文有两个贡献： 提出了DAC和RMP 做了许多方面的分割实验 整体框架见下图： 网络分为三个部分，编码器部分用的是预训练后ResNet，框架是参考的U-Net，具体与U-Net的不同就是采用了shortcut（见(b）图）；...
Unet-train_UNet_Unet去噪_u-net图像分割_u-net_Unet-train
09-11
在"Unet-train.py"文件中，通常会包含定义U-Net模型、数据预处理、损失函数选择、优化器设置、训练循环以及可能的验证和模型保存等关键步骤。训练过程中，模型会逐步学习从带有噪声的图像中提取干净图像的特征，并...
UNet_GaN_UNet_u-net_深度学习Unet_
10-04
U-Net通俗来讲也是全卷积神经网络的一种变形，主要其结构经论文作者画出来形似字母U（见图 1），因而得名U-Net。整个神经网络主要有两部分组成：搜索路径（contracting path）和扩展路径（expanding path）。搜索...
Unet-train_UNet_Unet去噪_u-net图像分割_u-net_Unet-train.zip
10-10
在"Unet-train_UNet_Unet去噪_u-net图像分割_u-net_Unet-train.zip"这个压缩包中，包含了相关的源码，我们可以深入探讨U-Net模型的原理、结构以及在图像去噪和分割中的应用。 U-Net模型的核心设计理念是结合了卷积...
Unet-train_UNet_Unet去噪_u-net图像分割_u-net_Unet-train_源码.zip
09-30
标题中的"Unet-train_UNet_Unet去噪_u-net图像分割_u-net_Unet-train_源码.zip"提到了几个关键概念，主要是与深度学习领域中的U-Net网络相关，包括U-Net的训练、去噪以及图像分割。这里我们将深入探讨这些主题。 U-...
this_is_a_simple_demo__for_image_segmentation.----_unet.zip
09-16
this_is_a_simple_demo__for_image_segmentation.----_unet
UNet(UNet网络的三个实现：大同小异 全是pytorch实现)
09-07
UNet(UNet网络的三个实现：大同小异 全是pytorch实现)，其中UNet文件中包含了原始的分割数据集
UNET家族网络之CE-Net（github复现）
qq_20373723的博客
01-11 6336
使用完毕在此整理一下代码，这里就只对有改动的地方贴一下啊，其他的直接去github上下载一下吧 https://github.com/Guzaiwang/CE-Net 数据输入文件data.py，其实没改动只是不做扩充加载了原始数据，下面会把改动的地方标为斜体，都在偏后，直接往下翻就是了。另外数据存放结构很简单如下所示： 标签就在labels里面了，和图像一一对应且同名。 """ Based...
CE-NET详解
weixin_45622568的博客
09-07 1446
首先上译文 摘要：医学图像分割是医学图像分析中的一个重要步骤。随着卷积神经网络在图像处理中的快速发展，深度学习已被用于医学图像分割，如视盘分割、血管检测、肺部分割、细胞分割等。此前，已经提出了基于U-net的方法（**U-Net包括连续池化和跨步卷积**）。然而，连续的池化和跨步卷积运算会导致一些空间信息的丢失。在本文中，我们提出了一种上下文编码器网络（称为CE-Net）（上下文编码器网络旨在将输入数据的上下文信息编码成一个有意义的表示。这个上下文信息可以包括环境信息、语义关系、依赖关系等，具体取决于任务
Unet网络
weixin_30307921的博客
01-22 1318
近期利用遥感影像进行路网提取，利用Unet网络进行图像分割 介绍如下： U-net网络非常简单，前半部分作用是特征提取，后半部分是上采样。在一些文献中也把这样的结构叫做编码器-解码器结构。由于此网络整体结构类似于大写的英文字母U，故得名U-net。U-net与其他常见的分割网络有一点非常不同的地方：U-net采用了完全不同的特征融合方式：拼接，U-net采用将特征在channel维度拼接在...
UNet - unet网络
Henry的博客
11-15 1万+
Unet网络是医学图像分割领域常用的分割网络，因为网络的结构很像个U，所以称为UnetUnet 网络是针对像素点的分类，之前介绍的LeNet、ResNet等等都是图像分类，最后分的是整幅图像的类别，而Unet是对像素点输出的是前景还是背景的分类注：因为Unet 具体的网络框架均有所不同，例如有的连续卷积后会改变图像的size，有的上采样用的是线性插值的方法。这里只介绍same卷积和上采样用的转置卷积Unet网络是个U型结构，左边是Encoder，右边为Decoder。
『神经网络』UNet
libo-coder
12-11 2646
一、Unet 网络结构 U-Net 如下图所示，是一个 encoder-decoder 结构，左边一半的 encoder 包括若干卷积，池化，把图像进行下采样，右边的 decoder 进行上采样，恢复到原图的形状，给出每个像素的预测。 编码器有四个子模块，每个子模块包含两个卷积层，每个子模块之后有一个通过 maxpool 实现的下采样层。输入图像的分辨率是 572x572, 第 1-5 个模块的分辨率分别是 572x572, 284x284, 140x140, 68x68 和 32x32。由于卷积使用的是
Unet下
zebin的博客
09-23 491
using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.Networking; public class playerController :NetworkBehaviour { public float turnSpeed=120; pub...
#!/usr/bin/env bash python3 train.py \ --data_dir <Your data dir> \ --images_folder imgs/ \ --train_annotations_file aus_dataset.pkl \ --test_annotations_file aus_dataset_test.pkl \ --generator_name unet_msf_generator \ --normtype_G instancenorm \ --discriminator_name discriminator_wgan_plus \ --normtype_D None \ --name experiment_1 \ --nepochs_no_decay 30 \ --nepochs_decay 20 \ --gpu_ids 0,1 \ --lr_D 1e-4 \ --lr_G 1e-4 \ --lr_decays_to 1e-5 \ --image_size 128 \ --batch_size 16 \ --ngf 64 \ --ndf 64 \ --cond_nc 13 \ --train_G_every_n_iterations 4 \ --lambda_D_prob 1 \ --lambda_D_cond 150 \ --lambda_D_gp 10 \ --lambda_G_fake_cond 150 \ --lambda_rec_l1 30 \ --lambda_cyc_l1 30 \ --lambda_smooth 1e-5
07-13
根据你提供的内容，这是一个 Bash 脚本，其中调用了 `python3` 命令来运行 `train.py` 脚本，并传递了一系列参数。 在运行这个脚本之前，你需要确保以下几点： 1. Python 环境：你需要安装 Python 3，并且在命令行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值