LA-Net: A Multi-task Deep Network For The Segmentation of The Left Atrium

已于 2022-06-03 21:30:26 修改
阅读量500 收藏 5
点赞数
分类专栏： 论文精读 文章标签： 深度学习 人工智能 神经网络
于 2022-06-01 22:03:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45648030/article/details/125090283
版权

2021 IEEE Transactions on Medical Imaging(TMI)

语义分割、医学图像分割论文

摘要

目录

语义分割论文

文章目录

一、LA-Net: A Multi-task Deep Network For The Segmentation of The Left Atrium

摘要

一、主要亮点

二、网络结构

1.LA-Net’s architecture

2.REM

3.交叉注意模块CAMs(cross attention   modules)

4.增强解码器模块EDMs(enhanced decoder modules)

三、实验部分

1.消融实验

2.对比实验

总结

Abstract— Although atrial fibrillation (AF) is the most common sustained atrial arrhythmia, treatment success for this condition remains suboptimal. Information from mag-netic resonance imaging (MRI) has the potential to improve treatment efficacy, but there are currently few automatic tools for the segmentation of the atria in MR images. In the study, we propose a LA-Net, a multi-task network op-timised to simultaneously generate left atrial segmentation and edge masks from MRI. LA-Net includes cross attention modules (CAMs) and enhanced decoder modules (EDMs) to purposefully select the most meaningful edge information for segmentation and smoothly incorporate it into segmen-tation masks at multiple-scales. We evaluate the perfor- mance of LA-Net on two MR sequences: late gadolinium enhanced (LGE) atrial MRI and atrial short axis balanced steady state free precession (bSSFP) MRI. LA-Net gives Hausdorff distances of 12.43 mm and Dice scores of 0.92 on the LGE (STACOM 2018) dataset and Hausdorff distances of 17.41 mm and Dice scores of 0.90 on the bSSFP (in-house) dataset without any post-processing, surpassing previously proposed segmentation networks, including U-Net and SEGANet. Our method allows automatic extraction of information about the LA from MR images, which can play an important role in the management of AF patients.。

虽然房颤(AF)是最常见的持续性心房心律失常，但其治疗效果仍不理想。MRI的信息具有提高治疗效率有潜力，但目前只有很少的工具能够自动分割MRI图像的心房。在这项研究中，我们提出了一个多任务网络LANET,能够同时优化产生左心房分割和来自MRI的边缘掩码。LA-Net包括交叉注意模块(CAMs)和增强解码器模块(EDMs)，有目的地选择最有意义的边缘信息进行分割，并在多尺度上平稳地将其纳入分割掩码。我们评估了LA-Net在两个磁共振序列上的表现:晚期钆增强(LGE)心房MRI和心房短轴平衡稳态自由进动(bSSFP) MRI。LA-Net在LGE (STACOM 2018)数据集上的Hausdorff距离为12.43毫米，Dice得分为0.92分，在bSSFP(内部)数据集上的Hausdorff距离为17.41毫米，Dice得分为0.90分，没有任何后处理，超过了之前提出的分割网络，包括UNet和SEGANet。我们的方法允许从MR图像中自动提取LA信息，这可以在AF患者的管理中发挥重要作用。

提示：以下是本篇文章正文内容，下面案例可供参考

一、主要亮点

  • 交叉注意模块CAMs(cross attention   modules)
  • 增强解码器模块EDMs(enhanced decoder modules)

二、网络结构

1.LA-Net’s architecture

  • 可以看出主要有四个模块，接下来单独来介绍

2.REM

  • 残差模块这部分已经很常见了，再加深一下印象吧
  • 残差网络更容易学习的原因：假设四层网络能使模型满足性能要求，这时候再加深网络的层数，性能可能还会下降，而这时下降的原因并非是梯度消失或者爆炸，因为归一化已经解决了这个问题。真正的原因是"退化现象"。若四层网络时性能达到100%，则再加深网络时就要求冗余网络能够“恒等映射"，这样f(x)=x,网络还能100%，而退化现象表明无法做到恒等映射，所以残差网络就是利用一个桥梁将输入数据还原到fc层，而对于中间的层，可以很容易的把这些层的参数逼近于0，进而实现f(x)=x。实际上，网络并不能达到100%，如果达到98%，则剩下的2%就可以靠中间的网络来训练，让他尽量去提升性能，如果提升不了（将参数逼近0即可）亦不会丢失之前的性能。所以所谓残差网络就是让残差块去关注残余映射的那一小部分，做到恰到好处。

3.交叉注意模块CAMs(cross attention   modules)

  • CAM在解码器特征的引导下对编码器特征进行调制，使编码器特征变得稀疏。对解码器的特征做全局池化和卷积来形成一个注意力权重，再将权重和编码器的输出特征相乘，得到一个带有注意力的编码器特征，最后用来桥接。达到高维特征稀疏的效果
  • 如下是CAM前后的特征对比和热力图直方图

CAM前后热力图和特征的余弦相似度 

参考文献：SE-Net：Squeeze-and-excitation networks 

目的：通过网络根据loss去学习特征权重，使得有效的feature map权重大，无效或效果小的feature map权重小的方式训练模型达到更好的结果。

4.增强解码器模块EDMs(enhanced decoder modules)

参考文献：Salient Object Detection with Pyramid Attention and Salient Edges 

文献精读Salient Object Detection with Pyramid Attention and Salient Edgeshttps://blog.csdn.net/qq_25602729/article/details/93786222?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165405366516780366516495%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=165405366516780366516495&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-93786222-null-null.142%5Ev11%5Econtrol,157%5Ev12%5Enew_style2&utm_term=Salient+object+detection+with+pyramid+attention+and+salient+edges&spm=1018.2226.3001.4187

  • EDM平滑地将分割特征(由分割掩码引导)和差分特征(由边缘掩码引导)合并到解码器路径中
  • à trous difference module (ADM)：原理类似图像处理中的非锐化掩蔽(Unsharp Masking)，即减去平滑后的图像，便于边缘提取，Unsharp Masking属于数字图像处理了

  • Feature Refining Module（FRM） 保留有信息的特性，使用它们的全局上下文来校准解码器的特征

三、实验部分

1.消融实验

 2.对比实验

总结

最近看的几篇多任务分割的论文也都是这种边缘检测和分割相互辅助进行的，感觉亮点还是用在了注意力模块上了，暂时还是不知道怎么去借鉴这种论文找新方向，求大神指导啊！

LANG_C_
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
LaNet-vi (Large Network visualization)-开源
04-28
LaNet-vi在二维布局上提供大型网络的图像。 该算法基于k核和k密集（m核）分解。 有关更多详细信息，请参见http://lanet-vi.fi.uba.ar。
3902 - Network (LA)
热门推荐
Achiberx
03-10 3万+
数据结构，贪心
Honzon 篇 |关于 Acala ，你知道多少？
AcalaNetwork的博客
04-15 1193
前言 或许很多新用户在看这篇文章前心里总是会有这样的一个疑问：“Acala 好像确实能在 Polkadot 生态中做点什么或者认为这种新型金融模式很有意思，但是总感觉遥不可及，看不见也摸不着。”正是考虑到了这些，这篇文章会从一个普通用户的角度，并以产品的逻辑顺序中的问答模式为大家介绍了 Acala Honzon 协议，让大家在我们主网上线前，能够尽可能简单熟悉 Acala 网络中 H...
RandLA-Net——大规模点云的高效语义分割
m0_57122465的博客
08-04 260
RandLA-Net是基于point-wise MLP的方法。特点：之前的方法只要运用于小规模的点云语义分割，此方法可以运用在大规模点云的语义分割上面。创新点主要是：1、采取了随机点取样，而不是更复杂的点选择方法（比如pointnet++使用的是最远距离取样fps），可以使计算复杂度和内存效率变得显著。2.引入了一种新的局部特征聚合模块，逐步增加每个三维点的接受域，从而有效地保留几何细节。最后实验证明：RandLA-Net可以一次处理100万个点，比现有的方法快200倍。
RandLa-Net学习笔记
weixin_47142735的博客
10-11 9003
RandLa-Net开创了使用随机采样来处理点云的先河，并在大规模点云上取得了非常好的效果。然而，作者在论文中只讲述了如何搭建模型，并没有详细讲述如何进行数据预处理，如何进行随机采样，而这对点云处理也是十分重要的。 因此，本文首先会从数据的角度出发，探析RanLa-Net数据预处理的方式，然后详细讲解RandLa-Net的模型结构，最后对其在S3DIS数据集上的处理过程进行分析。 1. 引言 作者在论文中开片就提出了PointNet++中对数据进行采样存在的缺陷：1.FPS仅适应小规模点云，对大规模点云采样
布朗大学和FAIR开源LA-MCTS，及其在神经网络结构搜索的应用
Paper weekly
10-24 441
©PaperWeekly 原创 ·作者｜王林楠学校｜布朗大学博士研究方向｜人工智能和系统大家好，我们开源了在 NeurIPS-2020 所提出一个，基于蒙特卡洛树搜索（MCTS）的全新...
LAHeart2018左心房分割实战
weixin_44858814的博客
10-03 5169
2018 Atrial Segmentation ChallengeThe Left Atrium (LA) MR dataset from the Atrial Segmentation Challenge数据集下载地址：Data – 2018 Atrial Segmentation Challenge (cardiacatlas.org)数据集结构： 一共有154例包含心房颤动的 3D MRI 图像 分为训练集（Training Set）和测试集（Testing Set，已开源），数据集下每个文件夹包
半监督3D医学图像分割（二）：UA-MT
weixin_44858814的博客
10-14 3538
作者在Mean-Teacher的基础上，提出不确定性自感知模型（Uncertainty-Aware Self-ensembling Model），将图像加上不同的随机噪声多次输入教师网络中，对输出计算平均概率和不确定度，设计阈值过滤不确定的区域，得到更有意义更可靠的预测结果，然后再去指导学生网络。通俗的理解，以二分类为例（随机变量X要么是A类，要么是B类，非黑即白），如果X是A类的概率很小或者很大，我们可以说X是比较确定的，而X是A类的概率在0.5左右时，我们就说事件X是不确定的。
LANet——遥感图像使用Local Attention分割
weixin_46460816的博客
05-05 3528
LANet: Local Attention Embedding to Improve the Semantic Segmentation of Remote Sensing Images LANet: Local Attention Embedding to Improve the Semantic Segmentation of Remote Sensing Images | IEEE Journals & Magazine | IEEE Xplore 1、创新点 提出两种方式增强特...
LA 3902 Network 网络
FirstLucker
07-04 607
题意：n台机器连成一个树状网络，其中叶节点是客户端，其他结点是服务器。目前有一台服务器正在提供VOD服务。现在要求在一些其他服务器上也安装VOD服务，使得每台客户端到最近服务器的距离不超过k。求最少还需安装VOD服务的服务器台数。 将无根树转化为有树，题目给出了一个已安装服务的服务器，那么就选它作为根来构造树，这样深度不超过k的结点都不用考虑（已经被根结点
Python-通过MultitaskNetworkCascades实现图像感知语义分割
08-11
通过Multi-task Network Cascades实现图像感知语义分割
几篇CVPR关于multi-task的整理
11-02
几篇CVPR关于multi-task的论文笔记整理，包括 一、 多任务课程学习Curriculum Learning of Multiple Tasks 1 --------------^CVPR2015/CVPR2016v--------------- 5 二、 词典对分类器驱动卷积神经网络进行对象检测Dictionary Pair Classifier Driven Convolutional Neural Networks for Object Detection 5 三、 用于同时检测和分割的多尺度贴片聚合（MPA）* Multi-scale Patch Aggregation (MPA) for Simultaneous Detection and Segmentation ∗ 7 四、 通过多任务网络级联实现感知语义分割Instance-aware Semantic Segmentation via Multi-task Network Cascades 10 五、 十字绣网络多任务学习Cross-stitch Networks for Multi-task Learning 15 --------------^CVPR2016/CVPR2017v--------------- 23 六、 多任务相关粒子滤波器用于鲁棒物体跟踪Multi-Task Correlation Particle Filter for Robust Object Tracking 23 七、 多任务网络中的全自适应特征共享与人物属性分类中的应用Fully-Adaptive Feature Sharing in Multi-Task Networks With Applications in Person Attribute Classification 28 八、 超越triplet loss：一个深层次的四重网络，用于人员重新识别Beyond triplet loss: a deep quadruplet network for person re-identification 33 九、 弱监督级联卷积网络Weakly Supervised Cascaded Convolutional Networks 38 十、 从单一图像深度联合雨水检测和去除Deep Joint Rain Detection and Removal from a Single Image 43 十一、 什么可以帮助行人检测？What Can Help Pedestrian Detection? （将额外的特征聚合到基于CNN的行人检测框架） 46 十二、 人员搜索的联合检测和识别特征学习Joint Detection and Identification Feature Learning for Person Search 50 十三、 UberNet：使用多种数据集和有限内存训练用于低，中，高级视觉的通用卷积神经网络UberNet: Training a Universal Convolutional Neural Network for Low-, Mid-, and High-Level Vision using Diverse Datasets and Limited Memory 62 一共13篇，希望能够帮助到大家
论文阅读：ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation
01-07
文章目录1 摘要2 亮点2.1 initial模块和bottlebeck模块2.1.1 initial模块2.1.2 bottlebeck模块2.2 PReLU2.3 普通卷积、非对称卷积、空洞卷积混合使用2.4 ENet总体结构3 效果4 结论5 参考资料 1 摘要 ...
U-Net Convolutional Network for Biomedical Image Segmentation.pdf
04-22
U-Net Convolutional Network for Biomedical Image Segmentation
Multi-Task-Learning-PyTorch:PyTorch多任务学习架构的实现，包括MTI-Net（ECCV2020）
05-05
多任务学习 此仓库旨在在PyTorch中实施几种多任务学习模型和培训策略。 该代码库是对以下工作的补充： ， ，Wouter Van Gansbeke，Marc Proesmans，Dengxin Dai和Luc Van Gool。 ， 和Luc Van Gool。...
RandLA-Net-pytorch:RandLA-Net（https的Pytorch实施
05-23
RandLA-Net-pytorch 该存储库包含的实现。 我们现在仅支持SemanticKITTI数据集。 （欢迎大家共同发展，提高公关意识） 我们的模型几乎与原始实现一样好。 （验证集：我们的52.9％的mIoU与原始的53.1％） 我们将...
LA 3902 Network（树上最优化 贪心）
weixin_33947521的博客
07-20 68
Network Consider a tree network with n <tex2html_verbatim_mark>nodes where the internal nodes correspond to servers and the terminal nodes correspond to clients. The nodes are numbered from 1 t...
复现RandLA-Net网络，并训练自己的数据集
m0_51950734的博客
07-02 869
在训练自己的数据之前，首先要针对数据预处理进行修改，因为官方提供的数据中，标签是以.label格式单独储存于独立文件中，而我在处理标签是直接作为一列储存在点云文件中。此外，由于官方数据时具有颜色的，而我的数据是未着色的，因此直接将颜色赋0.此外，main文件中的类定义也要修改，将分类标签改成自己数据所对应的，同时要将训练集和测试集的划分代码进行修改。此外，数据集的权重也要进行修改，因为我是进行单类别分割，因此只是将权值全部在设置为1.最后，按照正常的训练流程进行训练即可。具体的复现过程可参考前面发的博客。
ea-net:: edge-aware network for brain structure segmentation via decoupled h
最新发布
09-20
ea-net是一种通过分离式h实现的脑结构分割的边缘感知网络。脑结构分割是医学图像分析中的重要任务，它可以帮助医生快速、准确地识别出脑的各个结构，为疾病诊断和治疗提供依据。 ea-net采用了一种先进的神经网络...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值