CSwin-PNet: CNN-Swin-Vit 组合金字塔网络用于超声图像中乳腺病变分割

最新推荐文章于 2024-07-18 21:22:36 发布
最新推荐文章于 2024-07-18 21:22:36 发布
阅读量1.9k 收藏 2
点赞数
分类专栏： 论文研读 中科院二区文章解读 文章标签： cnn 人工智能 神经网络 图像处理 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44864833/article/details/132776819
版权

ATTransUNet

期刊分析

期刊名： Expert Systems With Applications
期刊信息： IF: 8.5; JCR: Q1; 中科院一区
投稿周期：
本篇： Received 22 June 2022; Received in revised form 30 July 2022; Accepted 9 October 2022； 约四个月
网站统计：录用比例：16.5%； 审稿周期：约13.5月
其余信息： LetPub
该论文没有代码，Code coming soon!！🐕纯纯学习

摘要

目前，基于乳腺超声（BUS）图像的乳腺肿瘤自动分割仍然是一项具有挑战性的任务。**大多数病变分割方法是基于卷积神经网络（CNN）实现的，其在建立长程依赖关系和获取全局上下文信息方面存在局限性。**最近，基于Transformer的模型由于其强大的自注意力机制而被广泛应用于计算机视觉任务中来构建远程上下文信息，并且其效果比传统的CNN更好。在本文中，CNN 和 Swin Transformer 连接作为特征提取主干，构建用于特征编码和解码的金字塔结构网络。首先，我们设计了一个交互式通道注意（ICA）模块，使用通道注意来强调重要的特征区域。其次，我们开发了基于门控机制的补充特征融合（SFF）模块。 SFF模块可以补充特征融合时的特征，提高乳腺病灶分割的性能。最后，我们采用边界检测（BD）模块额外关注乳腺病变的边界信息，以提高分割结果的边界质量。实验结果表明，我们的网络在乳腺超声病变分割方面优于最先进的图像分割方法。

贡献

  1. 我们基于 Swin Transformer 构建残差 Swin Transformer 块（RSTB），对 CNN 提取的特征进行全局建模。
  2. 我们设计了一个基于通道注意机制的交互式通道注意（ICA）模块。它利用监督编码器特征输出编码器每一层的特征来关注肿瘤相关区域，并为这些特征通道分配较大的权重。
  3. 我们提出了一种基于门控机制的补充特征融合（SFF）模块。编码过程选择性地从编码器接收特征以补充编码器的特征信息。
  4. 我们在解码器的中间层添加边界检测（BD）模块来识别乳腺病变的边界图并获得具有高质量边界的病变特征。

方法

整体框架

在这里插入图片描述
1. 图画的稍微有点乱，自己动手画成U型结构会比较好理解；
2. 整个模型是对瓶颈层和解码器层进行重点优化的；
3. SFF在常规UNet中是上采样的位置（一个输入一个输出）却有两个输入，所以将其看成解码器模块会比较好理解
4. 基于3，则该模型的解码器模块有7层，重点对模型不同阶段的特征进行融合；
5. 模型也使用了深监督的思想，有四个输出；

1. Residual Swin Transformer block

在这里插入图片描述
在这里插入图片描述
1. 这一部分75%的内容在介绍VIT和Swin-VIt，只有最后说了一下RSTB的结构；
2. 就是一个预训练的Swin-Vit Block的堆叠使用以及类似于ASPP的多层融合；
3. 难点是如何优雅的将代码嵌入瓶颈层并且产生作用，没代码，真苦恼🐕

2. Interactive channel attention module

在这里插入图片描述
1. 就是一个通道注意力的使用，唯一不同的是输入是有两个

3. Supplementary feature fusion module

在这里插入图片描述
依旧是两个输入，重点是使用了不同层级的特征进行融合，同时使用(1-a)来进行权重提取，有一定的理解难度；

4. Boundary detection module

在这里插入图片描述
介绍如何得到分割目标的掩膜边界

实验

深度监督，混合损失：
在这里插入图片描述
Ls是瓶颈层输出损失；Lb是解码器模块输出损失；Lo是模型最后输出的损失；
两个公开的乳腺肿瘤分割数据集：
1. Yap, M. H., Pons, G., Marti, J., Ganau, S., Sentis, M., Zwiggelaar, R., Davison, A. K., & Marti, R. (2018). Automated breast ultrasound lesions detection using convolutional neural networks. IEEE Journal of Biomedical and Health Informatics, 22(4), 1218–1226, URL: https://doi.org/10.1109/JBHI.2017.2731873. 可直接根据连接下载

2. Al-Dhabyani, W., Gomaa, M., Khaled, H., & Fahmy, A. (2019). Dataset of breast ultrasound images. Data in Brief, 28, Article 104863, URL: https://doi.org/10.1016/ j.dib.2019.104863. 填写申请同意后下载

1. 消融实验

在这里插入图片描述
这个数据集我也在跑，为啥我的结果只能达到人家Baseline的效果啊，我想要人家的代码或者是人家的数据集划分情况🐕，挖坑，今晚就要，坐等回复🐕
从消融实验结果上来看，各个模块的效果提升明显；不过从最后的模型来看，DB在添加上去后的提升效果略弱
在这里插入图片描述
同时文章重点讨论了RSTD（瓶颈层Swin VIt的变体）的结构变化对模型的影响，得出两个结论
1. 带残差的效果会更好； 2. 使用数值相加比通道拼接的效果更好

2. 对比实验

在这里插入图片描述
1. 自己也跑了相同的数据集，即使是U-Net，U-Net++这些模型的效果我都没有跑过该文章中提供的数据，这个最有可能的原因是数据集的划分
2. 在Dataset1 上的结果明显优于Dataset2
在这里插入图片描述
在这里插入图片描述

3. 失败案例讨论

在这里插入图片描述
盲猜是审稿人让加上的，哈哈哈，贴一下失败案列的解释：

These cases neglect some regions of breast lesions on the ultrasound images. This indicates that it is difficult to accurately segment the lesion tissue when the lesion boundary is not clear and the lesion region is heterogeneous in intensity.
这些病例忽略了超声图像上乳腺病变的某些区域。这说明当病灶边界不清晰、病灶区域强度不均匀时，很难准确分割病灶组织。

可借鉴参考

  1. 阅读DS-TransUNet 2022
    Lin, A., Chen, B., Xu, J., Zhang, Z., Lu, G., & Zhang, D. (2022). DS-TransUNet: Dual swin transformer U-net for medical image segmentation. IEEE Transactions on Instrumentation and Measurement, 71, 1–15, URL: https://doi.org/10.1109/TIM. 2022.3178991.
    代码：https://github.com/TianBaoGe/DS-TransUNet
  2. 阅读SMU-net 2022
    Ning, Z., Zhong, S., Feng, Q., Chen, W., Zhang, Y., & Ning, Z. (2022). SMU-net: Saliencyguided morphology-aware U-net for breast lesion segmentation in ultrasound image. IEEE Transactions on Medical Imaging, 41(2), 476–490, URL: https://doi.org/10. 1109/TMI.2021.3116087.
  3. 阅读 UCTransNet 2022
    Wang, H., Cao, P., Wang, J., & Zaiane, O. R. (2022). UCTransNet: Rethinking the skip connections in U-net from a channel-wise perspective with transformer. In Proceedings of the AAAI conference on artificial intelligence, Vol. 36 (pp. 2441–2449). URL: https://doi.org/10.1609/aaai.v36i3.20144.
    代码：https://github.com/McGregorWwww/UCTransNet
Philo`
关注
专栏目录
复旦大学发布Grad-PU：任意尺度的点云上采样（附代码）
3D视觉工坊
10-19 183
作者：Grad-PU | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接。添加微信：dddvisiona，备注：3D点云，拉你入群。文末附行业细分群。1 前言大多数现有的点云上采样方法大致分为三个步骤：特征提取、特征扩展和3D坐标预测。然而，它们通常遇到两个关键问题：（1）一次性训练后固定的上采样率，因为特征扩展单元是针对每个上采样率定制的；（2）由于难...
GG-Net: 超声图像中乳腺病变分割的全局指导网络
热门推荐
Philo的博客
10-09 1万+
超声波自动乳腺病灶分割有助于诊断乳腺癌，这是影响全球女性的可怕疾病之一。由于固有的散斑伪影、模糊的乳腺病变边界以及乳腺病变区域内的不均匀强度分布，从超声图像中准确分割乳腺区域是一项具有挑战性的任务。最近，卷积神经网络（CNN）在医学图像分割任务中表现出了显着的效果。然而，CNN 中的卷积运算通常集中于局部区域，其捕获输入超声图像的远程依赖性的能力有限，导致乳腺病变分割精度下降。在本文中，我们开发了一种配备全局引导块（GGB）和乳腺病灶边界检测（BD）模块的深度卷积神经网络，用于增强乳腺超声病灶分割。
Breast Ultrasound：乳腺超声图像数据集、分割和分类数据集
最新发布
08-29
Breast Ultrasound：乳腺超声图像数据集 标签类别： 0 表示背景，255 前景 数据做了对比度拉伸、resize、像素点映射等等变换，其中数据和标签均为png格式。 乳腺超声数据集分为三类：正常、良性和恶性图像，平均图像大小为 500*500 像素。分类和包含gt的分割数据集，约700张图像
【图像分割】基于区域增长算法实现乳腺超声 (BUS) 图像分割附Matlab代码
qq_59747472的博客
07-18 704
乳腺癌是全球性的健康问题。因此，在早期阶段发现这种疾病的迹象至关重要。由于成像过程中的低能量，使用乳腺超声图像成为诊断的首选方法之一。在这种情况下，BUS 图像中的图像分割指的是提取对应于病灶的区域，并将其与正常组织区域分离。病灶区域的大小和质量与疾病的严重程度和进展阶段相关。
基于边界网络的超声图像乳腺肿瘤自动分割
qq_45880982的博客
03-21 1315
乳腺癌被认为是最常见的癌症。利用超声图像定位乳腺肿瘤是一种重要的临床诊断方法。然而，由于超声图像中的超声伪影、低对比度和复杂的肿瘤形状，乳腺肿瘤的准确分割仍然是一个悬而未决的问题。为了解决这个问题，我们提出了一个边界导向网络（BO-Net），用于增强超声图像中的乳腺肿瘤分割。BO-Net从两个方面提高了肿瘤分割性能。首先，设计了一个面向边界的模块（BOM），通过学习额外的乳腺肿瘤边界图来捕获乳腺肿瘤的弱边界。
论文推荐：基于深度对抗学习的超声图像乳腺肿瘤分割与分类
deephub
11-11 7462
条件GAN (cGAN) + Atrous卷积(AC) +带权重块的通道注意力(CAW)该论文提出了一种基于深度对抗学习的超声图像乳腺肿瘤分割分类方法（cGAN+AC+CAW），论文虽然是2019年提出的，但是他提出了使用GAN进行分割的方法在当时来说却是一个非常新奇的想法，该论文基本上把所有当时能够整合的技术全部进行了集成，并且还取得了很好的效果，所以是非常值得我们一读的，此外论文还提出了具有典型对抗损失的SSIM和l1范数损失作为损失函数。
MDF-Net：一种用于超声图像乳腺肿瘤分割的多尺度动态融合网络
qq_45880982的博客
04-02 1037
超声图像的乳腺肿瘤分割为肿瘤的早期检测和诊断提供了有价值的信息。由于感兴趣区域之间的低图像对比度、斑点噪声以及肿瘤形状和大小的大的受试者间变化，准确分割具有挑战性。提出了一种新的多尺度动态融合网络（MDF-Net）用于乳腺超声肿瘤分割。它采用两阶段的端到端架构，具有用于多尺度特征选择的主干子网络和结构优化的细化子网络，用于通过更好的特征探索和融合来减轻诸如噪声和受试者间变化等损伤。主干网络是从UNet++扩展而来的，具有简化的跳过路径结构，以连接相邻尺度之间的功能。
论文：CSWin Transformer
cztAI的博客
07-24 1408
CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows 图像被分割为固定大小的图块（token），任意图块或多或少与其他图块有关系（依赖），对图块序列建模会产生长期依赖问题，目前全局 self-attention 能比较好的解决这个问题，而全局 self-attention 为二次计算复杂度，SWin Transformer （滑动窗口）采用局部 self-attention 解决计算复杂度问题，而
mtcnn-pytorch:人脸检测算法
05-11
测试图像 运行> python mtcnn_test.py 培训数据准备 下载 （passcode：lsl3）人脸检测数据，然后将其存储到./data_set/face_detection 运行> python ./anno_store/tool/format/transform.py将.mat（wider_face_train...
matlab精度检验代码-mtcnn-pytorch:该项目在python3中运行
05-22
MTCNN具有三个网络，分别称为PNet，RNet和ONet，因此我们应该在三个阶段进行训练，每个阶段都取决于先前的网络，该网络将生成训练数据以馈入当前的火车网络，并推动两个网络之间的最小损失。 请在训练之前下载火车...
IPG-Net-小目标检测的图像金字塔引导网络 | CVPR 2020
qq_43311107的博客
09-25 1165
IPG-Net-小目标检测的图像金字塔引导网络 | CVPR 2020
C-Net：用于乳腺超声图像分割的具有全局指导和细化残差的级联卷积神经网络
Philo的博客
10-17 2222
乳腺病灶分割是计算机辅助诊断系统的重要一步。然而，散斑噪声、异质结构和相似的强度分布给乳腺病灶分割带来了挑战。在本文中，我们提出了一种集成 U-net、双向注意引导网络（BAGNet）和细化残差网络（RFNet）的新型级联卷积神经网络，用于乳腺超声图像中的病变分割。具体来说，我们首先使用 U-net 生成一组包含低级和高级图像结构的显着图。然后，使用双向注意力引导网络从显着性图中捕获全局（低级）和局部（高级）特征之间的上下文。全局特征图的引入可以减少周围组织对病变区域的干扰。
用于超声图像中的乳腺病变分割的全局指导网络
qq_45880982的博客
04-06 890
超声中的自动乳腺病变分割有助于诊断乳腺癌，这是影响全球女性的可怕疾病之一。由于乳腺超声图像固有的斑点伪影、模糊的乳腺病变边界以及乳腺病变区域内的不均匀强度分布，从超声图像中准确分割乳腺区域是一项具有挑战性的任务。最近，卷积神经网络（CNN）在医学图像分割任务中表现出了显着的效果。然而，CNN中的卷积操作通常集中在局部区域，这些局部区域在捕获输入超声图像的长程依赖性方面能力有限，从而导致乳房病变分割准确性下降。
探索乳腺肿瘤超声图像的创新分割：基于残差U-Net的方法
weixin_64112863的博客
12-27 1643
U-Net，最初为医学图像分割而设计，现已成为该领域的一个基准。它的核心特点是其对称的U形结构，由一个收缩路径和一个扩展路径组成。收缩路径负责捕获图像的背景信息，而扩展路径则用于精确定位感兴趣的区域。在乳腺肿瘤图像分割的应用中，U-Net的这种结构使得网络能够有效地从复杂的医学影像中提取出肿瘤特征，并在保持较低计算成本的同时实现高精度的分割。乳腺肿瘤超声图像的创新分割方法此方法利用编码器、混合注意力模块和解码器的结合来处理图像特征。
DBU-Net：用于乳腺超声图像中肿瘤分割的双分支U形网络
qq_45880982的博客
04-03 1183
乳腺超声医学图像通常具有低成像质量沿着不清楚的目标边界。这些问题使得医生在诊断患者时准确识别和概述肿瘤具有挑战性。由于精确的分割是至关重要的诊断，有一个强烈的需要，自动化的方法来提高分割的准确性，这可以作为一个技术辅助诊断。最近，U-Net及其变体在医学图像分割中取得了巨大的成功。在这项研究中，从U-Net概念中汲取灵感，我们提出了一种新的U-Net架构变体，称为DBU-Net，用于乳腺超声图像中的肿瘤分割。为了提高编码器的特征提取能力，我们引入了一种新的方法，涉及利用两个不同的编码路径。
FRBNet: Feedback refinement boundary network for semantic segmentation in breast ultrasound images
weixin_45622568的博客
10-23 372
目前，大多数乳腺肿瘤分割方法侧重于提取多尺度信息和融合上下文信息，而低估了特征信息在分割任务中帮助识别目标边界的重要性。具体而言，CCM在融合低级特征映射和高级特征映射之前，首先采用重分布特征通道响应的方法，增强携带关键目标信息的通道，抑制低级特征映射中的噪声通道。然后，BD模块通过额外学习乳腺肿瘤的边界，提高分割结果中边界的质量，为后续的预测提供准确的边界特征信息。然而，这些传统方法是基于数据集的特征，然后实现手工设计的特征，如纹理特征或位置信息，这些特征不稳定，抗干扰能力差，容易受到成像质量的影响。
基于深度卷积神经网络的超声图像乳腺病变分类(IEEE Access)
自在独行的博客
04-29 1954
Breast Lesion Classification in Ultrasound Images Using Deep Convolutional Neural Network 摘要： 近年来，卷积神经网络在医学图像分析中得到了广泛的应用。CNN有足够的标记数据，可以训练它学习图像特征，用于目标定位、分类和分割。尽管建立和改进医学图像分析的自动化系统有很多好处，但缺乏可靠和公开的生物医学数据集使这项任务变得困难。在本研究中，我们将研究CNN在超声(US)图像中对乳腺病变分类的有效性。首先，由于训练数据
CSwin-PNet 新的医学图像分割网络
skyfengye的博客
05-30 289
很长时间没有看到一些比较传统的医学图像分割网络了，2022年，来自哈尔滨工业大学的研究团队在Expert Systems With Applications. 期刊上发表了题为《CSwin-PNet: A CNN-Swin Transformer combined pyramid network for breast lesion segmentation in ultrasound images》的文章。文章提出了一种新的CNN和Swin Transformer结合的金字塔网络，用于乳腺病变分割。
ESTAN：用于乳腺超声图像分割的增强型小肿瘤感知网络
qq_45880982的博客
03-31 778
乳腺肿瘤分割是用于乳腺癌检测的计算机辅助诊断（CAD）系统中的关键任务，因为准确的肿瘤大小、形状和位置对于进一步的肿瘤量化和分类是重要的。然而，由于斑点噪声、患者之间不同的肿瘤形状和大小以及肿瘤样图像区域的存在，分割超声图像中的小肿瘤具有挑战性。最近，基于深度学习的方法在生物医学图像分析方面取得了巨大成功，但目前最先进的方法在分割小乳腺肿瘤方面表现不佳。在本文中，我们提出了一种新的深度神经网络架构，即增强型小肿瘤感知网络（ESTAN），以准确和鲁棒地分割乳腺肿瘤。
GeoTransformer - P2PNet
04-28
GeoTransformer - P2PNet是一个基于P2P网络的地理信息转换工具。它可以将不同格式的地理数据进行转换和交换，使得不同地理信息系统之间可以互相兼容和共享数据。 GeoTransformer - P2PNet的主要功能包括： 1. 地理数据转换：它可以将不同格式的地理数据（如GPX、KML、Shapefile等）进行转换，使得这些数据可以在不同的地理信息系统中使用。 2. 数据交换：通过P2P网络，GeoTransformer - P2PNet可以实现地理数据的共享和交换。用户可以将自己的地理数据上传到网络中，也可以从网络中下载其他用户共享的地理数据。 3. 数据编辑和管理：GeoTransformer - P2PNet提供了一些基本的地理数据编辑和管理功能，用户可以对地理数据进行增删改查等操作。 4. 地理信息系统集成：GeoTransformer - P2PNet可以与其他地理信息系统进行集成，使得用户可以直接在GeoTransformer - P2PNet中使用这些系统提供的功能和数据。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Philo`

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值