论文阅读(2)-用于皮肤病变分割的聚合多分辨率跳跃连接的深度卷积编解码器

Deep Convolutional Encoder-Decoders with Aggregated Multi-Resolution Skip Connections for Skin Lesion Segmentation

摘要

皮肤黑色素瘤的患病率正在迅速增加,其患者的死亡病例也在迅速增加。自动图像分割工具在为皮肤黑色素瘤患者提供标准化的计算机辅助分析方面发挥着重要作用。目前最先进的分割方法是基于完全卷积神经网络,它利用编码器-解码器的方法。然而,由于编码层位置信息的丢失,这些方法会产生粗略的分割掩码。受金字塔场景解析网络(PSP-Net)的启发,我们提出了一种编解码器模型,该模型在深度跳跃连接中使用金字塔池模块,聚合全局上下文并补偿丢失的空间信息。使用了大赛ISIC2018的数据集。

1、引言

皮肤癌是目前为止最常见的癌症。黑色素瘤约占皮肤癌的1%,但绝大多数皮肤癌死亡是由黑色素瘤引起的。据估计,2018年,仅美国就将新增9万多例黑色素瘤病例,导致1万人死亡。因此,早期诊断黑色素瘤大大提高了康复的患病率。早期黑色素瘤的5年生存率超过95%[2]。这些统计数据强调了早期诊断和识别皮肤黑色素瘤病变的重要性。在CAD的关键步骤之一是自动分割皮肤病变

阈值化、基于边缘或基于区域的方法等一些经典的图像处理技术一直被传统地用于皮肤病变分割[3].然而,图像中不同来源的伪影的存在是经典技术的一个严重限制。对于基于特征的技术,低级和手工制作的特征无法准确分割皮肤病变[4]。

近年来,随着图形处理单元(GPU)计算能力的进步,卷积神经网络(CNN)[5]已经成为图像处理中最强大的工具之一。CNN模型在包括医学图像分析在内的多个领域表现出了良好的性能[6]。Long等[7]介绍了一种用于分割任务的全卷积网络(FCN),输入图像使用序列卷积和池化运算符编码产生深度特征图,然后由一个解卷积上采样层解码,产生具有原始大小的输出特征图。尽管比经典的机器学习和图像处理方法有很大的贡献,但由于l连续的池化运算,位置信息失真产生粗分割掩码,最后导致FCN设计的效果不太好。

为了解决FCN中出现的问题,Badrinarayanan等人SegNet提出了具有多层反卷积的网络对逐步升级的特征图进行操作。Ronneberger等人[提出的U-Net引入了跳跃连接,通过将收缩(编码)路径中的特征与扩展(解码)路径中的相应特征连接起来来保存重要的位置信息。PSPNet[9]提出了一个金字塔池模块,通过使用具有不同大小内核的并行池层来聚合全局上下文。因此,它提供了沿着连续卷积和池化层保存的附加上下文信息

在皮肤病变分割的背景下,Yuan等人[10]利用传统的编码器-解码器架构和新的基于jaccard -index的损失函数来处理皮肤镜图像中的类别不平衡。他们的FCN模型在ISIC 2016皮肤病变分析[11]数据集上的分割精度有所提高。然而基于FCN的模型受到了一些限制,例如在一些病变和皮肤之间的对比度较低的图像上未能达到合理的准确性。之后,Xue等人研究了对抗学习应用在病变分割的场景上。

  • 对抗学习(adversarial learning)

受PSP-Net的启发,我们提出了一种改进的编解码器结构,以克服输出分割图的粗糙性。我们的主要思想是将金字塔池模块(PPM)嵌入到更深卷积层的跳跃连接中。结果表明,这种结构将低卷积层的位置信息聚合在一起,缓解了空间信息丢失的问题。我们在“ISIC 2018皮肤损伤分析面向黑色素瘤检测”数据集[11]上的实验证实了我们的假设,即与当前最先进的病变分割方法相比,该方法改进了输出预测掩膜。

2 、方法

2.1网络结构

在这里插入图片描述
本文提出的模型为编码器-解码器的结构。
编码器结构采用了预训练的VGG11(去掉全连接层),其中更新的地方在每次卷积之后加上了BatchNormalizetion。

解码器结构使用转置卷积层对特征图进行上采样,使空间分辨率提高一倍,通道数减少一半,每个上采样图通过跳过连接与编码路径中的相应特征图进行并联,然后再进行3x3空洞卷积、BatchNormalization和ReLU。每个卷积的操作都是带有padding的操作,以防止边界的消失。

PPM模块嵌入在高层特征信息上的融合过程

最后的输出层采用了1X1的卷积和sigmoid激活函数。得到的概率图通过阈值为0.5的筛选,经过后处理操作将分割产生的空洞进行填充。

2.2 训练

PyTorch深度学习框架+优化器Adam+动态学习率调整(使用动态学习率并将其初始化为5×10-5,然后每30个训练周期乘以10-1)+epoch的设置为初始值200(由于引入了预训练模型,调整了epoch)+batch_size设置为16+使用一系列几何变换(水平翻转、垂直翻转、旋转和缩放)来增加训练图像,以减少模型过拟合。+损失函数采用GDL(Generalized Dice Loss)[14],该损失函数是对DSC损失函数的修正。
在这里插入图片描述

3、试验和结果

数据集:ISIC 2018

训练集由2594幅RGB皮肤镜图像组成,空间分辨率从576×768到6748×4499。截至本文提交时,ISIC 2018 V验证和测试数据Ground Truth尚未发布。因此,我们将训练数据分为80%的训练集(2076幅图像)和20%的验证集(518幅图像)。验证集被用来评估我们方法的性能。

采用了五折交叉验证

将所有的图像的尺寸都调整为192X256,但是分割结果是通过重新上采样恢复到原始尺寸的。
处理结果:
在这里插入图片描述
在这里插入图片描述
该模型每秒处理10张图片。

4、讨论

当前仍存在的挑战:病变边界不够清晰(模糊),各种伪影存在。

该模型的好处在于没有费时间的数据增广处理和集成学习。

给出了该模型处理的好的结果和不好的结果,对进一步的工作给出了方向, 可以利用后处理,例如条件随机场等操作对分割结果进一步优化。其中不好的结果主要出现在对比度不明显的图像上。
在这里插入图片描述

5、结论

本文的优点,没有费时的预处理工作,例如灰度转换等操作。在处理伪影的问题上有了优秀的处理结果。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值