读论文:基于梯度特征融合的皮肤癌分类的小波变换注意模块

A WAVELET GUIDED ATTENTION MODULE FOR SKIN CANCER CLASSIFICATION WITH GRADIENT-BASED FEATURE FUSION

ABSTRACT

皮肤癌是一种非常危险的癌症类型,需要从经验丰富的医生中准确诊断。为了帮助医生更有效地诊断皮肤癌,计算机辅助诊断 (CAD) 系统可能非常有帮助。在本文中,我们提出了一种新的模型,该模型使用一种新的注意机制来确定病变空间维度和对称性特征的差异,从而基于对称性、纹理和颜色的一致性等关注不同类别的差异。此外,为了考虑不同类别的病变边界的变化,我们采用基于梯度的小波和软注意辅助特征融合来提取皮肤病变的边界信息。我们在多类和高度不平衡的数据集(称为 HAM10000)上测试了我们的模型,并取得了有希望的结果,F1 分数为 91.17%,准确率为 90.75%。

1. INTRODUCTION

每年有数千人死亡,皮肤癌近年来已成为全球最致命的癌症之一。太阳暴露是皮肤癌的主要原因。皮肤癌可分为几种类型,黑色素瘤和非黑色素瘤是主要的。黑色素瘤的存活率非常低,这使得早期诊断对于防止它在整个身体传播并引起痛苦死亡至关重要。皮肤癌有两种主要的诊断方法:皮肤镜和皮肤活检。皮肤镜检查需要一个训练有素的医生的经验和视觉能力,而皮肤活检涉及从患者的身体中获取皮肤样本,这可能是一个缓慢而痛苦的过程。这些困难激发了人工智能 (AI) 领域的研究人员,以创建能够精确皮肤癌分类的计算机辅助诊断 (CAD) 系统。然而,由于不同类型皮肤癌之间的类间相似性和类内差异,使用医学图像处理对皮肤癌进行分类是一个具有挑战性的问题。

Related Work:姚等人 [3] 提出了一种具有新损失函数的深度卷积神经网络 (CNN),称为多加权新损失 (MWNL) 函数来解决小数据集和不平衡数据集的问题。大多数皮肤图像数据集高度不平衡。已经引入了不同的数据增强技术来克服这个问题。一种高性能的数据增强技术,但成本低,可用于可分布在非发达社区中的皮肤癌筛查设备[4]。原始皮肤图像数据集具有许多伪影和低对比度的图像。已经提出了一些预处理技术,如噪声去除、对比度增强技术和调整大小,以帮助分类器有效地执行[5]。Mridha等人[6]在训练阶段使用两个优化函数(Adam, RMSprop)和三个激活函数(Swish, ReLU, Tanh),使分类器以更高的精度执行。Iqbal等人[7]设计了一个深度CNN,由63个卷积层组成,用于处理皮肤癌的多类分类,意识到类间相似性和类内方差,但它们的模型不足以解决这些问题。为了处理类间相似性和类内差异,Roy 等人将一种称为 Margin-Aware Adaptive-Weighted (MAAW) 损失的损失函数与训练模型相结合。

Contributions:黑色素瘤可以通过观察其直径、颜色均匀性、形状、对称性等来区分正常摩尔或其他类别。鉴于这一事实,目前的研究提出了一种独特的架构,即通过提取空间维度特征的语义差异并获得边界和对称信息,可以可靠地对皮肤癌图像进行分类。由于精确定位皮肤病变的确切位置可能具有挑战性,因此本研究通过小波和注意辅助特征的基于梯度的融合来加强病变的边界信息,从而实现有效的分类模型。

2. METHODOLOGY

为了创建病变感知的皮肤癌症类型分类模型,除了现有的软注意外,我们还引入了对称感知特征注意(SaFA)模块和基于梯度的特征融合机制来组合小波和卷积特征。我们使用 DenseNet121 作为特征提取的主干。提取的特征 Fenc 使用注意力模块处理,然后使用全局平均池化层 (GAP) 展平。然后将这个扁平的特征传递给具有 softmax 激活的密集层以预测类。该模型的框图概述如图所示。

2.1.基于梯度的特征融合

小波变换是一种用于图像分析和压缩的技术。它通过考虑高频分量来检测图像中的边缘,在转换之后将图像形成到其频率分布。在我们提出的模型中,我们使用最有效的小波变换之一 Haar 小波变换,它从 Fenc 中提取表示为 Fw 的小波系数。这些特征包括病变的边界信息,这为模型区分不同类别提供了必要的见解。为了提高特征提取过程,我们动态应用了 Fw 和软注意力特征 Fsa 的自适应基于梯度的特征融合。融合过程使用 Fw 的归一化反向传播梯度,表示为 g(Fw),Fsa 的归一化反向传播梯度表示为 g(Fsa),作为融合过程的权重。等式 F_{fuse}=(1-g(F_{w}))\times F_{w}+(1-g(F_{sa}))\times F_{sa} 显示了这项工作。更高的梯度意味着特征会对模型的性能产生负面影响,因此在F_{fuse}使用中赋予更少的权重,反之亦然。通过这种动态权重分配,通过引入可学习的权重,在不增加参数的情况下,对特征融合进行优化和表示。

2.2.对称感知特征注意模块

SaFA模块的主要目的是提取与病变对称性和区域空间维度特征的变化相关的信息,即语义变化。SaFA 模块由两个主要块组成,对称感知块 (SaB) 和特征差异感知块 (FDaB)。FdaB 输入维度为 H × W × C 的 Fenc,并使用滤波器 256、64 和 1 的三个可分离卷积层连续将其转换为 H × W × 1 的维度。然后将这个特征图分别重塑为维度为 H × W 和 W × H 的 Fh 和 Fw。由于基于 LSTM(长短期记忆)的网络能够理解和保留时间依赖性,因此我们使用了它们捕捉语义特征在特定维度上的变化。这里,F_{h}F_{w}作为 LSTM 层的输入,其中 H 和 W 分别充当时间戳,如下图所示。特别是,LSTM 层的主要目的是分别随着沿特征图 Fhand Fw 的 H 和 W 空间维度移动而识别特征的变化。这些 LSTM 层的输出被重新整形为维度 H ×W ×1,以生成F_{hLSTM}F_{wLSTM}。这两个特征图一起添加以生成F_{LSTM}

SaB以FLST M为输入,产生Fsymmetric,如F_{symmetry}=F_{LSTM}\bigotimes F_{LSTM}^{T}所示,其中⊗表示像素级特征相似度。这种对称感知特征 Fsymmetric 是用类似于 FdaB 的可分离卷积层处理的,然后是一个 sigmoid 激活函数来产生 Fattn。

3. RESULTS

3.1. Experimental Setup

皮肤病变可以分为不同类型的,如Actinic角膜和上皮内癌/Bowen疾病(akiec)、基底细胞癌(bcc)、良性角化样病变(bkl)、皮肤瘤(df)、黑色素瘤(mel)、黑素细胞痣(nv)和血管病变(vasc)。这些类型的主要区别是它们的对称性、特征的均匀性(例如颜色和纹理)和边界区域。对于我们的研究,我们使用 HAM10000 数据集训练和评估我们的模型。该数据集包含 10,015 张常见皮肤病变和罕见皮肤病变的皮肤镜图像,分为七类。该数据集是高度类不平衡的,这对实现最先进的 (SOTA) 结果提出了挑战。对于我们的实验,我们使用了 10015 个原始图像中的 1103 张图像进行测试。我们将其余8912张原始图像增加到52000张图像,并使用70%的增强图像进行训练,30%用于验证,所有尺寸为256 × 256 × 3。我们在所有实验中都使用了0.01的学习率、Adam优化器和64的批大小。我们应用了交叉熵损失函数来训练模型超过 25 个 epoch,并使用 TensorFlow 中的标准指标对其进行评估,包括 NVIDIA TESLA P100 GPU 上的准确度、精度、召回率和 F1 分数。

3.2. Ablation study

为了选择主干,我们训练了三个模型,MobileNet-v2、DenseNet-121 和 ResNet50。其中,DenseNet-121 给出了最好的结果,如表 1 所示。使用 DenseNet-121 作为主干,我们进行了更多的实验来找出最好的架构配置。这些实验是:

  1.  DenseNet-121 + 软注意
  2. DenseNet-121+软注意+基于梯度的特征融合
  3.  提出的模型 ((ii) + SaFA 模块

在下表中,可以看出,引入基于梯度的特征融合为通过结合病变的边界特征来提高性能提供了必要的提升。此外,SaFA模块通过发现病变的对称性和语义特征变化进一步提高了性能,如图3所示,其中显示了SaFA模块的注意图。

3.3. Comparison with SOTA

在下中,我们可以看到,通过观察我们提出的模型在HAM10000上给出的混淆矩阵,所有7种皮肤疾病都被有效地分类。此外,在3D散点图中显示了不同类别的扁平特征的分布,以可视化类的可微性。

4. CONCLUSION

我们开发了一种新颖的架构,通过分析病变的皮肤图像来对各种类型的皮肤癌进行分类。该模型从图像中提取有意义的特征,重点是通过结合小波特征的边界信息,病变边界的变化。此外,注意力机制被用来解释感兴趣区域的纹理和颜色的变化,即病变的语义特征的变化和病变的对称性。该模型通过将适当的权重分配给更相关的信息,将小波特征与注意力辅助特征融合。尽管所提出的模型取得了结果,但对于现实世界的可用性,需要改进黑色素瘤和其他少数类等皮肤癌症类型的召回率。我们计划提高黑色素瘤和少数类的召回率,探索模型在其他医学图像模式上的性能,并简化它以创建轻量级模型。

  • 7
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值