【论文笔记】RA-UNet: A Hybrid DeepAttention-Aware Network to ExtractLiver and Tumor in CT Scans

已于 2023-03-21 00:46:01 修改
阅读量1.3k 收藏 9
点赞数 4
分类专栏： 医学影像分析论文笔记 文章标签： 深度学习 机器学习 python
于 2022-06-05 22:47:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lhx526080338/article/details/125137936
版权

RA-UNet:用于在CT扫描中提取肝脏和肿瘤的一种混合深度注意力感知网络

论文地址：https://arxiv.org/abs/1811.01328
代码地址：https://github.com/RanSuLab/RAUNet-tumor-segmentation

目录

文章结构

问题动机

贡献

创新点

方法

网络总体结构

数据的预处理

RA-UNet 的结构

以U-Net作为基本结构

残差学习机制

注意力残差学习机制

损失函数

阶段一：使用 RA-UNet-I 进行肝脏定位

阶段二：使用 RA-UNet-II 进行肝脏分割

阶段三：基于RA-UNet-II的肿瘤提取

优化器

总结

文章结构

  1. 问题的背景与文章的贡献。

  2. 简要回顾了最新的自动化肝肿瘤分割方法。

  3. 详细介绍了这些方法，包括数据集、预处理策略、混合深度学习结构和训练过程。

  4. 对提出的方法进行了评估，报告了实验结果，并与其他一些方法进行了比较，并将方法扩展到了其他医学分割任务中。

  5. 给出了结论和下一步的工作。

问题动机

由于肝脏和肿瘤的异质和扩散形状，从CT图像中分割它们是具有挑战性的。

通常肝脏和肿瘤提取方法可以分为三类:手动分割、半自动分割和自动分割。手动分割是一种主观性强、可重复性差且耗时的方法。它在很大程度上依赖于人手工提取的可识别特征，并且需要具有高水平技术技能的人员来完成。半自动分割需要初始的人工干预，这可能导致偏差和错误。

为了加速和促进诊断、治疗计划和监测，并最终帮助外科医生切除肿瘤，有必要开发一种自动和精确的方法来从CT图像中分割肿瘤。

困难：大规模的空间和结构变化、肝脏与肿瘤区域之间的对比度低、噪声、部分体积效应、3D空间肿瘤特征的复杂性、附近器官之间的相似性。3D网络通常不像相应的2D网络那样有效和灵活，3D卷积的高计算成本和低效率，这使得2D网络扩展到3D网络是不切实际的。

为了解决这些问题，文章提出了一种混合残差注意力感知的肝脏和肿瘤提取神经网络RA-UNet，旨在以端到端的方式有效地从CT图像中提取肝脏和肿瘤的3D体积上下文特征。所提出的网络集成了残差U-Net架构和注意力残差学习机制，使得能够在深度网络上进行优化和性能改进。

贡献

  1. 通过堆叠注意力模块可以实现不同类型的注意力，从而使注意力感知特征可以自适应地变化。

  2. 使用 3D U-Net 作为基本架构来捕获多尺度注意力信息，并将低级特征与高级特征相结合。

  3. RA-UNET可以直接从3D数据中分割肝脏和肿瘤。

  4. 模型不依赖于任何预先训练的模型或常用的后处理技术。

创新点

  1. 大多数最新的CNN架构，都使用来自3D图像的2D切片来执行分割任务。没有考虑器官的空间结构组织，没有充分利用体积信息。RA-UNet直接使用3D图像进行分割。

  2. 首次在医学影响分割任务中实现注意力残差机制

方法

网络总体结构

包括三个主要阶段，依次提取肝脏和肿瘤。

  1. 为了减少整体计算时间，使用名为RA-UNET-I的2D剩余注意力感知U-Net(RA-UNET-I)来获得粗略的肝脏边界框。 

  2. 对3D RA-UNET进行训练，以获得精确的感兴趣区域(volume of interest , VOI)。

  3. 将得到的肝脏VOI送到第二个RA-UNET-II来提取肿瘤区域。

数据的预处理

HU值设置为-100~200，对加窗后的数据进行了零均值归一化和最小最大归一化。

RA-UNet 的结构

以U-Net作为基本结构

包含编码器和解码器两部分。编码器提取不同层次的特征，解码器接收具有不同复杂性的特征，并以从粗到细的方式重建特征。通过编码器部分和相应的译码部分引入了远程连接，使得编码器的不同层次特征可以合并到译码部分，从而使网络更加精确和可扩展。

残差学习机制

在反向传播中，残差网络的梯度是累加，避免了梯度消失的问题。

每个残差块由批归一化(BN)层、激活(RELU)层和卷积层组合而成。除了第一和最后一层(图2D)之外，其余的块被堆叠起来，以释放深度神经网络的能力。

残差单元可以直接将特征从早期卷积传播到晚期卷积，从而提高模型的性能。

注意力残差学习机制

注意力残差机制将注意力模块分为主干分支和软掩码分支，主干分支用于处理原始特征，软掩码分支用于构造恒等映射。

软掩码分支中的编码器包含最大池操作、残差块和连接到相应解码器的远程残差块，其中在残差块和上采样操作之后执行逐元素求和。在软掩码的编码器和解码器部分之后，添加了两个卷积层和一个 Sigmoid 层以对输出进行归一化。

在注意力残留机制中，它旨在增强良好的特征并减少来自主干分支的噪声。

一般来说，注意力残差机制可以通过主干分支保留原始特征信息，通过软掩模分支关注那些肝肿瘤特征。

损失函数

采用Dice损失函数。

阶段一：使用 RA-UNet-I 进行肝脏定位

目的：降低通过 RA-UNet-II 精确分割肝脏和肿瘤的计算成本。

将切片下采样到256 * 256，使用2D版本的RA-UNet初步分割得到每个切片上的肝脏边界框，再使用3D连通域标记方法标记，取最大的区域，并在xyz轴方向上扩展了 10 个像素（为确保包括整个肝脏区域），获得肝脏的3D边界框，最后将图像插值到512 * 512。

RA-UNet-I网络结构：

阶段二：使用 RA-UNet-II 进行肝脏分割

将 x-y 平面中的肝脏边界框插值到 224×224，并在 z 方向连续随机选取 32 个切片以形成训练补图像块。在每个 CT 块上使用 RA-UNet-II 以按顺序生成 3D 肝脏概率块。然后，我们对这些概率块进行插值和堆叠，以恢复到边界框的原始大小。

RA-UNet-II网络结构：

阶段三：基于RA-UNet-II的肿瘤提取

未进行插值和大小调整，以免丢失小病灶。为了确定patch size，将patch size分别设置为32×32×32、64×64×32和128×128×32来测试肿瘤分割的性能。结果表明，128×128×32 块大小的数据实现了最佳的肿瘤分割性能。在肿瘤以及周围的非肿瘤区域都选取图像块进行训练，以解决数据不平衡问题并学习更有效的肿瘤特征。在合并的 VOI 上使用投票策略以产生最终的肿瘤分割。最后，过滤掉不在肝脏区域的体素。

优化器

使用Adam优化器，初始LR为 0.001，β1=0.9，β2=0.999。

总结

文章提出一种名为RA-UNet的3D混合残差注意感知的分割方法，以精确提取感兴趣的肝脏体积(VOI)并从肝脏VOI中分割肿瘤。RA-UNet以3-Unet作为基本体系结构，然后结合不同层次的特征图提取上下文信息。利用残差和注意力相结合的分割网络-RA-UNet，包括三个阶段：使用RA-UNet-I 进行肝脏定位、使用RA-UNet-II进行肝脏的精确分割和 使用RA-UNet-II 分割肿瘤部分。堆叠注意力模块解决了梯度消失的问题，使得网络能够变得更深，通过残差学习使得注意力特征图自适应变化。得到的分割模型泛化能力较强，在另一个肿瘤分割数据集中也有很好的表现。

UNet变体
69小石头的博客
01-06 6356
一、《U-Net: Convolutional Networks for Biomedical Image Segmentation》 二、《UNet++: A Nested U-Net Architecture for Medical Image Segmentation》 图1：（a）UNet ++由编码器和解码器组成，它们通过一系列嵌套的密集卷积块连接。 UNet ++背后的主要思想是在融合之前弥合编码器和解码器的特征图之间的语义鸿沟。 例如，（X0; 0，X1; 3）之间的语义鸿沟是使用具有三
Image Segmentation Using Deep Learning: A Survery
Fantastic
09-23 3933
图像分割综述–论文翻译 论文地址：https://arxiv.org/pdf/2001.05566.pdf 摘要 图像分割是图像处理以及计算机视频的关键内容，其应用场景非常广泛，如场景理解、医学图像分析、机器人感知、视频监控、增强显示和图像压缩等。目前关于图像分割的算法论文数量非常多。最近，由于深度学习模型在计算机视频任务中的出色表现，大量的图像分割研究工作都在开发深度学习模型在图像分割中的应用。在本次调查综述中，我们提供全面的图像分割的文献综述，涵盖了语义分割和实例分割的广泛开创性工作，其中包括全卷机像素
《RA-UNet: A hybrid deep attention-aware network to extract liver and tumor in CT scans》
Major_S的博客
07-19 1412
《RA-UNet: A hybrid deep attention-aware network to extract liver and tumor in CT scans》
[深度学习论文笔记]RA-UNet: A hybrid deep attention-aware network to extract liver and tumor in CT scans
Slientsake的博客
05-09 1720
RA-UNet: A hybrid deep attention-aware network to extract liver and tumor in CT scans RA-unet：一个混合的深度注意感知网络，用于在CT扫描中提取肝脏和肿瘤 Published: ICONIP2019 论文：https://arxiv.org/abs/1811.01328 代码：https://github.com/RanSuLab/RAUNet-tumor-segmentation 问题动机：  &nbsp
RA-Net：一种混合深度注意感知网络，用于提取CT扫描中的肝脏和肿瘤
weixin_43921949的博客
01-08 1659
RA-UNet
RA-UNet阅读笔记
文森特的博客
03-09 3647
原文链接：https://arxiv.org/abs/1811.01328 代码链接：https://github.com/RanSuLab/RAUNet-tumor-segmentation 摘要： 由于肝脏和肿瘤的分布不均匀和形态各异，因此从CT图像中分割出肝脏和肿瘤是一个非常困难的任务。现在，2D和3D的卷积神经网络在医生图像分割任务中变得很流行，但是3D的卷积神经网络计算成本太高。因此...
推荐开源项目：RA-UNet—深度学习在医学影像领域的创新实践
gitblog_00029的博客
06-22 421
推荐开源项目：RA-UNet—深度学习在医学影像领域的创新实践 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在医学成像领域，精确的组织和肿瘤分割对于临床诊断与治疗规划至关重要。**RA-UNet（Recurrent Attention U-Net）**是天津大学计算机科学与技术学院的研究团队提出的一种混合深度注意力感知网络模型，旨在CT扫描中高效提取肝脏和肿瘤区域。...
（六：2020.08.22）MICCAI 2019 追踪之论文纲要（上）
Jojo论文基地
08-23 4087
MICCAI 2019 论文全解读之PARTII（关于图像分割）（修正于2020.08.22）前言《Searching Learning Strategy with Reinforcement Learning for 3D Medical Image Segmentation》（通过强化学习搜索学习策略进行3D医学图像分割）《Comparative Evaluation of Hand-Engineered and Deep-Learned Features for Neonatal Hip Bone S
（二十九：2021.01.10）MICCAI 2019 追踪之论文纲要（下）
Jojo论文基地
01-11 2602
讲在前面 这部分是PART V和PART VI。 论文目录 PART V Computer-Assisted Interventions（计算机辅助干预） 概要 1.Robust Cochlear Modiolar Axis Detection in CTCT中稳健的耳蜗轴轴检测 2.Learning to Avoid Poor Images: Towards Task-aware C-arm Cone-beam CT Trajectories学习避免不良图像：迈向任务感知型C型臂锥束
（二十：2020.11.06）MICCAI 2020 追踪之论文纲要（译）＜下＞
Jojo论文基地
11-06 4219
讲在前面 此文章包含第五、第六和第七部分。 论文目录 PART V 《Biological, Optical and Microscopic Image Analysis 生物，光学和显微图像分析》 生物，光学，显微成像 概要 1.Channel Embedding for Informative Protein Identification from Highly Multiplexed Images通道嵌入用于从高度复用的图像中鉴定信息性蛋白质 2.Demixing Calcium
各种用于图像分割的Unet模型的实现-Unet，RCNN-Unet，Attention Unet，RCNN-Attention Unet，嵌套Unet-Python开发
05-25
各种Unet模型用于图像分割的实现-Unet，RCNN-Unet，注意力Unet，RCNN-Attention Unet，嵌套式Unet细分Unet细分-Pytorch-Nest-of-Unets各种Unet模型用于图像分割的实现UNet- U-Net：用于生物医学图像分割的卷积网络https://arxiv.org/abs/1505.04597 RCNN-UNet-基于U-Net的递归残差卷积神经网络（R2U-Net）用于医学图像分割https：// arxiv。 org / abs / 1802.06955 Attention Unet-Attention U-Net：学习在哪里寻找胰腺https://arxiv.org/abs/1804.03999 RCNN-Attentio
H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volumes
moshiyaofei的博客
02-14 1217
理解论文：H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volumes. 一、综述 1.提出了混合密集连接unet（H-DenseUNet）。 2.端到端训练方式。 3.层间表现力和层内特征通过一个混合特征融合层 联合优化。 二、两个技术成果 1...
RAUNet: Residual Attention U-Net forSemantic Segmentation of Cataract SurgicalInstruments
weixin_43921949的博客
11-10 1134
增强注意模块强调关键区域，混合的损失函数构成能够显著提高精度
7.论文学习Multi-phase Liver Tumor Segmentation with Spatial Aggregation and Uncertain Region Inpainting
weixin_44846755的博客
12-09 1292
7.论文学习Multi-phase Liver Tumor Segmentation with Spatial Aggregation and Uncertain Region Inpainting
论文笔记CPAD-Net: Contextual parallel attention and dilated network for liver tumor segmentation
Stark_Z的博客
02-20 431
本文设计了一种变异的U型结构，即CPAD-Net，用于肝脏肿瘤的分割。在跳跃连接处采用CPAM块以提取上下文高级和低级特征。
[深度学习论文笔记]Multi-phase Liver Tumor Segmentation with Spatial Aggregation
Slientsake的博客
01-02 4340
Multi-phase Liver Tumor Segmentation with Spatial Aggregation and Uncertain Region Inpainting [深度学习论文笔记]基于空间聚集和不确定区域修复的多期肝脏肿瘤分割 Jul 2021 MICCAI 2021 论文：https://arxiv.org/abs/2108.00911 代码：https://github.com/yzhang-zju/multi_phase_LiTS 摘要：   多期计算机断层扫描图像为准确分
RAUNet: Residual Attention U-Net for Semantic Segmentation of Cataract Surgical Instruments 论文阅读笔记
大梦想家
09-24 4156
论文地址：https://arxiv.org/abs/1909.10360 该论文已被ICONIP2019会议接收。 Introduction 论文提出一个新的网络结构来分割白内障手术器械。该网络采用encoder-decoder结构，并设计了一个新颖的注意力模型来改善网络的特征表示。该工作还使用了CEL-Dice来解决样本不平衡问题。经过测试，该网络在白内障手术器械数据集Cata7上...
肝脏分割 论文翻译 Liver Lesion Segmentation in CT Images with MK- FCN
heavenpeien的博客
05-25 1127
Abstract—This paper presented an approach used Fully Convolutional Networks (FCN) to segment liver tumor inComputed Tomography (CT) images. In addition, using different characteristics of scan quality...
[深度学习论文笔记]医学图像分割U型网络大合集
Slientsake的博客
08-12 3748
U型网络大合集
SmaAt-UNet: Precipitation Nowcasting using a Small Attention-UNet Architecture
最新发布
03-08
### SmaAt-UNet 架构概述 SmaAt-UNet 是一种专门针对气象数据处理设计的卷积神经网络架构，特别适用于降水短时预报的任务。该模型通过引入注意力机制来增强特征提取能力，从而提高预测精度[^1]。 ```python import torch.nn as nn class SmaAt_UNet(nn.Module): def __init__(self, input_channels=3, num_classes=1): super(SmaAt_UNet, self).__init__() # Encoder layers with attention mechanism self.encoder = nn.Sequential( AttentionBlock(input_channels, 64), ConvBlock(64, 128), ... ) def forward(self, x): # Forward pass through encoder-decoder structure encoded_features = self.encoder(x) output = self.decoder(encoded_features) return output ``` #### 数据预处理与输入格式 为了使模型能够有效工作，在训练之前需要对原始雷达反射率图像进行标准化处理，并将其转换成适合 CNN 输入的形式。通常会采用时间序列作为额外维度加入到单张图片中形成多通道输入[^2]。 #### 训练过程中的优化策略 在实际应用过程中发现 AdamW 优化器配合 CosineAnnealingLR 学习率调度方案可以取得较好的收敛效果。此外，还加入了 L1 正则化项防止过拟合现象发生[^3]。 #### 性能评估指标 对于此类任务而言，除了传统的均方误差(MSE)外，还可以考虑使用结构相似度(SSIM)，它更贴近人类视觉感知特性；以及 FSS (Fraction Skill Score), 这是一个专为二值分类型天气事件定义的质量评分标准[^4]。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值