双编码网络在皮肤病灶分割领域中的应用

已于 2024-01-29 01:24:34 修改
阅读量399 收藏 9
点赞数 7
分类专栏： 论文学习 文章标签： 深度学习
于 2024-01-29 01:17:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46572117/article/details/135903299
版权
本文探讨了皮肤病变早期诊断的挑战，重点介绍了双编码网络，结合CNN和Transformer的优势，用于改善医学图像分割。文章分析了双编码网络的优缺点，面临的挑战包括模型复杂性、标注成本和鲁棒性，并提出了未来的发展方向，如增强泛化能力和融合多模态信息。
摘要由CSDN通过智能技术生成

目录

一、研究背景与意义

研究背景：

研究意义：

二、双编码网络详述

CNN和Transformer的优缺点

双编码网络优势

双编码网络详述

三、挑战及展望

挑战

展望

一、研究背景与意义

研究背景：

  1. 皮肤作为最大的人体器官，与外界环境密切接触，易受紫外线辐射、冷热骤变和各种病原性生物感染，会引起皮肤病变；
  2. 恶性皮肤病变的早期诊断与治疗十分重要，但早期病变区域隐蔽性强，与正常肤色相似，藏匿于毛发之间，导致早期诊断十分困难；
  3. 皮肤镜图像中存在毛发遮挡、边界模糊、颜色差异性大、病变区域与正常皮肤对比度低等影响。经验丰富的皮肤科医生进行人工分割费时费力，且受主观因素影响，易导致误判及效率低下。

研究意义：

  1. 解放医疗资源，提高医学诊断的准确性和效率，降低医生工作强度；
  2. 皮肤病灶图像分割结果可作为医学诊断相关疾病的重要依据，提升医师对疾病的诊断及良恶性的判断精准度；
  3. 追踪病情变化。定期对皮肤病灶区域进行分割可帮助医生跟踪病情变化，对比不同时间的分割结果，可更好的评估治疗效果和病情进展。

二、双编码网络详述

CNN和Transformer的优缺点

CNN优点：

  •  CNN能够有效捕获图像中的局部特征；
    •  权重共享和参数共享减少了模型参数量；

CNN缺点：

  • 由于卷积操作局限性，CNN难以有效捕获长距离的依赖关系；
    • 网络过深易出现梯度消失或梯度爆炸；

Transformer优点：

  • Transformer在处理长序列和捕捉长距离依赖关系方面表现出色；
    • Transformer能够适应大规模数据集和复杂任务；

Transformer缺点：

  • Transformer结构较为复杂，对模型修改较为敏感；
    • 计算成本高，需更多的计算资源；
      • 捕获局部信息的能力不如CNN；

双编码网络优势

何为双编码网络？

        双编码网络由两个编码器组成。由于CNN和Transformer功能的互补，分别使用上述网络作为编码器的两条支路共同提取特征，并将提取的特征充分融合，输入至解码器中。

双编码网络优势？

  • 有效的捕获全局和局部的信息来改进医学图像的分割；
    • 结合CNN和Transformer各自的优势，无需搭建深层次网络(梯度爆炸/消失)，有效捕获全局信息；

双编码网络详述

（1）TransFuse

（2）TGDAUNet

（3）CoTrFuse

三、挑战及展望

挑战

  1. 模型复杂：双编码网络结构复杂，参数量高，会增加训练和推理的计算成本；
  2. 标注成本：对于皮肤病灶分割，需要大量高质量的标注数据集来训练模型，但标注成本过高；
  3. 鲁棒性和泛化性：在临床场景中，模型会面临不同人种肤色、不同光照条件等因素带来的挑战，模型的鲁棒性和泛化性仍需要进一步提升；

展望

  1. 增强模型泛化能力：使用不同临床场景的皮肤镜图像训练，以提高模型泛化性；
  2. 融合多模态信息：考虑融合来自多种医学图像模态(病理学图像、光学图像等)的信息，提高分割准确性；

哆啦L_
关注
专栏目录
一切皆是映射：AI在医学影像中的革新
程序员光剑
06-18 361
一切皆是映射：AI在医学影像中的革新 1. 背景介绍 1.1 医学影像的重要性 医学影像学是现代医学的重要组成部分，它利用各种成像技术获取人体内部结构和功能的图像信息，为疾病的诊断、治疗和预后评估提供客观依据。常见的医学影像技术包括X
基于深度可分离卷积网络的皮肤镜图像病灶分割方法
01-20
针对皮肤镜图像病灶难定位、病灶精准分割难以实现的问题，提出一种基于深度可分离卷积网络的皮肤镜图像病灶分割方法。首先对皮肤镜图像进行黑框移除和毛发移除处理，将图像中有碍确定病灶位置的人工噪声、天然噪声移除；然后在降噪处理的基础上，对图像进行形变、旋转，以扩充数据集；最后构建基于深度可分离卷积、空洞卷积的编解码分割模型，编码部分对图像进行特征提取，解码部分融合特征图，并对图像细节特征进行恢复。实验结果表明，该方法针对皮肤镜图像病灶分割问题可取得较好的分割效果，分割病灶的准确率达到95.24%，与分割模型U-Net相比，准确度提高了6.17%。
基于resnet+unet的皮肤病变分割
02-25
该工程使用resnet50/101+hypercolumn+scse+unet算法实现对皮肤病变的分割
论文阅读（10）一种用于皮肤病变分割的改良U-Net结构
peacefairy的博客
02-21 1317
目录A Modified U-Net for Skin Lesion Segmentation摘要引言 A Modified U-Net for Skin Lesion Segmentation 摘要 编解码结构，基于空洞卷积和金字塔池化模块（PPM） 在ISBI 2016的数据集上，结果：JC = 82.7, DC = 89.6, SE = 92.0 引言 ...
ERDUnet: An Efficient Residual Double-codingUnet for Medical Image Segmentation
weixin_45622568的博客
03-25 1103
ERDUnet:一种用于医学图像分割的高效残差双编码单元 摘要 医学图像分割在临床诊断中有着广泛的应用，基于卷积神经网络的分割方法已经能够达到较高的准确率。然而，提取全局上下文特征仍然很困难，而且参数太大，无法临床应用。为此，我们提出了一种新的网络结构来改进传统的编码器-解码器网络模型，在保持分割精度的同时节省了参数。通过构造一个能够同时提取局部特征和全局连续性信息的编码器模块，提高了特征提取效率。设计了一种新的注意力模块，在优化分割边界区域的同时提高训练效率。改进了解码部分的特征传递结构，充分融合了不
医学分割综述 MedISeg（tricks，challenges and future directions）
qq_45807235的博客
10-29 1415
医学图像分割综述 MedISeg（tricks，challenges and future directions）MedISeg方面的内容通常侧重于主要贡献的介绍（例如，网络架构、训练策略和损失函数），而无意中忽略了一些边缘实现细节（也称为“技巧”），从而导致潜在的问题不公平的实验结果比较。在本文中，我们针对不同的模型实现阶段（即预训练模型、数据预处理、数据增强、模型实现、模型推理和结果后处理）收集了一系列MedISeg技巧，并通过实验探索其有效性这些技巧在一致的基线模型上。
基于U-Net的递归残差卷积神经网络在医学图像分割中的应用
Gatekeeper的博客
02-22 5233
转载： 版权声明：本文为博主原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/weixin_45723705/article/details/107097488 英文原文链接:Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation 摘要 基于深度学习（DL）...
基于FCN-ResAlexNet的皮肤病变自动分割系统
2021年7月8日收到2022年4月12日修订2022年5月5日接受2022年5月20日网上发售保留字：皮肤病变分割卷积神经网络深度学习迁移学习A B S T R A C T皮肤癌是一个严重的全球健康问题，具有高发病率和死亡率。因此，计算机...
基于多尺度双重注意力的网络用于乳腺病变分割的研究
乳腺病变分割多尺度融合双重注意机制编码器-解码器架构A B S T R A C T准确的乳腺病变分割在乳腺癌治疗计划的初始阶段有很大的帮助。超声波被认为是乳房筛查过程中安全和最便宜的方法。然而，超声图像固有地包含斑点...
人工智能在医学影像中的研究与应用
热门推荐
weixin_45585364的博客
03-26 3万+
人工智能在医学影像中的研究与应用韩冬, 李其花, 蔡巍, 夏雨薇, 宁佳, 黄峰沈阳东软医疗系统有限公司，辽宁 沈阳 110167慧影医疗科技（北京）有限公司，北京 10...
"基于多尺度双重注意力的乳腺病变分割网络MDA-Net"
乳腺病变分割多尺度融合双重注意机制编码器-解码器架构A B S T R A C T准确的乳腺病变分割在乳腺癌治疗计划的初始阶段有很大的帮助。超声波被认为是乳房筛查过程中安全和最便宜的方法。然而，超声图像固有地包含斑点...
图像处理——皮肤分割方法汇总（最全最有用的）
weixin_40820983的博客
03-16 6430
最近老师布置了一个小作业，检测图像中的皮肤。 1、基于颜色空间 已经有很多博客写了： python：https://www.cnblogs.com/demodashi/p/9437559.html c++:https://www.cnblogs.com/skyfsm/p/7868877.html 其中基于Ycrcb的效果比较好，但是非常容易受背景干扰（后俩张几乎背景都包含在里面了）。 ...
皮肤病图像分割
yanchujian88的博客
03-27 4910
前言：最近看了几篇关于皮肤病图像分割的论文，遂来总结一下所涉及到的重要方法。 1：Automated Melanoma Recognition in Dermoscopy Images via Very Deep Residual Networks（通过深度残差网络自动识别皮肤镜图像中的黑色素瘤）论文下载链接：https://ieeexplore.ieee.org/document/7792699...
论文阅读（5）利用C-UNet进行皮肤病变分割
peacefairy的博客
01-01 3431
目录Skin Lesion Segmentation with C-UNet摘要1、引言2、方法2.1数据集2.2 C-UNet 结构2.3 训练2.4 利用Dice损失函数进行微调3、结果4、讨论 Skin Lesion Segmentation with C-UNet 摘要 本文主要是为了解决皮肤病变分割的问题。C-UNet整合了类似Inception卷积模块，循环卷积块和空洞卷积。在用常用的交叉熵损失训练模型后，本文还应用了一种使用Dice损失的微调技术。利用条件随机场用于进一步平滑预测标签图。该模型
[深度学习]胶质瘤病灶分割技术文档
weixin_40779727的博客
07-21 3765
[深度学习]胶质瘤病灶分割技术文档（不断更新） 参考： https://blog.csdn.net/weixin_42338058/article/details/84190420（python中用于读取医学图像的常用库） https://imageio.readthedocs.io/en/stable/userapi.html （imageioAPI， 用于nii转化为jpg） 1....
GRU(门控循环单元)的原理与代码实现
最新发布
Hiweir的博客
09-16 426
GRU(门控循环单元)的原理与代码实现
机器学习与深度学习的区别
警警的博客
09-14 1720
机器学习与深度学习
【图像去噪】论文精读：Enhanced CNN for image denoising（ECNDNet）
畅游计算机视觉的海洋
09-14 412
论文题目：Enhanced CNN for image denoising —— 用于图像去噪的增强CNN由于深度卷积神经网络 (CNN) 的灵活架构已成功用于图像去噪。然而，它们存在以下缺点：（i）深度网络架构很难训练。(ii)更深的网络面临性能饱和的挑战。在这项研究中，作者提出了一种称为增强卷积神经网络 (ECNDNet) 的新方法。具体来说，他们使用残差学习和批量归一化技术来解决训练困难的问题，加快网络的收敛性。此外，在所提出的网络中使用扩张卷积来扩大上下文信息并降低计算成本。
浅层空间编解码网络在图像语义分割中的应用
"基于上下文和浅层空间编解码网络的图像语义分割方法" 语义分割是计算机视觉中的一项关键技术，旨在为图像...通过这种方式，网络可能能够更好地服务于自动驾驶中的障碍物识别、医疗图像中的病灶分割等高精度需求场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值