论文分享（1）：医学分割

1、A Light-weight CNN Model for Efficient Parkinson’s Disease Diagnostics

本文提出了一种轻量级的神经网络模型,用于帕金森病的高效诊断。该模型由卷积神经网络和长短期记忆网络串联组成,以适应所收集的时间序列信号的特征。具体来说,首先使用了多层LSTM模型来丰富特征,然后将其与原始数据连接,输入到浅层一维卷积神经网络中进行有效分类。

方法：

1. 数据预处理:进行归一化、特征工程选择、数据分割等预处理。选择速度特征vx和vy作为模型输入。
2. 模型架构:

(1) LSTM模块:包含1个LSTM单元,用来学习时间序列数据的时间特征。

(2) CNN模块:包含2个CNN单元,每个单元包括1维卷积层、ReLU激活层、1维最大池化层。使用1维卷积提高效率。

(3) 全连接模块:包含全连接层、ReLU层、dropout层。

3.模型训练:分三阶段训练LSTM-CNN模型。第一阶段训练编码器和解码器;第二阶段固定编码器,训练预测器以学习统一的潜在空间;第三阶段微调网络所有组件。

4.模型测试:在测试集上评估模型性能,采用准确率、精确率、召回率、特异性、F1分数、MCC系数等指标。

5.比较实验:与Logistic回归、支持向量机、随机森林、LightGBM、多层感知机、AlexNet等模型比较。结果显示该模型优于其他模型,验证其有效性。

6.模型诊断:对每个测试序列数据进行多数投票,得到最终预测结果,实现对帕金森病的诊断。

结果

实验结果显示,与支持向量机、随机森林、LightGBM和基于CNN的方法相比,该模型在多个评价指标上都获得了高质量的诊断结果,但参数和运算数量都要少得多。这证明了即使参数和运算较少,该模型也能达到90%以上的多项评价指标,与当前状态的技术相当或甚至更好。

---

但也存在一些局限性:数据量仍然较小,仅包含有限的被试;模型并未在完全独立的测试集上验证。未来可扩大样本量,增加SUBJECT数量,在更大规模的数据上验证模型的泛化能力。

2、Medical Image Classifification Using Light-Weight CNN With Spiking Cortical Model Based Attention Module

该论文提出了一种基于SCM-GL注意力模块,用于医学图像分类。

网络模型：

1. 卷积神经网络(CNN):包括卷积层、池化层等基本组件。
2. 全连接层(FC):用于最终分类。
3. SCM注意力模块:

SCM-GL模块的方法如下:

1. 使用SCM分解输入的特征图,获得不同的组件。
2. 对组件进行卷积操作,获得局部mask。同时,使用轴向互动子模块分析全局信息,得到全局mask。
3. 将局部mask和全局mask进行加权求和,生成最终的注意力mask。
4. 将注意力mask与原始特征图进行点积,以突出重要特征,抑制无用特征。

论文在多个医学图像数据集上验证了该模块的有效性,结果显示嵌入SCM-GL模块的网络模型优于其他注意力模块,可以更准确地定位病变区域,提高分类性能。

3、Prompt Deep Light-Weight Vessel Segmentation Network (PLVS-Net)

本文提出了一种轻量级的PLVS-Net,用于血管分割。该网络的创新点在于引入prompt block和depth-wise separable convolution,以降低参数量和计算量,同时保持分割性能。

网络架构：

1. Encoder:包含4个prompt block,用于逐步下采样,prompt block内嵌入asymmetric convolution、depthwise convolution和普通卷积。
2. Decoder:使用简单的transpose convolution上采样。
3. Pixel classification层:给每个像素打标签。

方法

1. 使用prompt block逐步提取特征并下采样,prompt block通过组合不同类型卷积提升特征。
2. decoder部分使用transpose convolution逐步上采样,恢复到原始分辨率。
3. pixel classification层给每个像素打上血管或背景的标签,生成最后的分割结果。
4. 使用generalized dice loss作为损失函数。

相比其他方法,该网络参数量仅为0.54M,是VessNet的18倍减少,计算量也很低。但实验结果显示,在DRIVE、STARE和CHASE三个公开血管分割数据集上,该网络获得了非常竞争的性能。

4、NAS-Unet: Neural Architecture Search for Medical Image Segmentation

本文提出了一种NAS-Unet网络架构,将神经架构搜索应用于医学图像分割。 论文使用的网络架构包含编码器和解码器两个部分。编码器和解码器均由DownSC和UpSC堆叠构成。

论文的主要方法如下:

1. 构建了医学图像分割的搜索空间,包含三类原始操作集,并在该空间中搜索DownSC和UpSC。
   • 在两种单元内部，输入节点被定义为前两层的单元输出。
   • 在收缩步骤中，链接L1单元以学习语义上下文信息的不同级别，并生成一个较小的概率映射。
   • 在扩展步骤中，使用相同数量的单元恢复DCout中每个概率值的空间信息，并将其扩展到与输入图像一致。
   • 该方法的搜索空间涵盖了许多流行的U型架构，例如U-Net和FC-DenseNet。
2. 使用差分搜索策略,基于过参数化结构同时学习网络权重和架构参数,以提高搜索效率。
3. 在PASCAL VOC 2012数据集上搜索最佳的DownSC和UpSC结构。
4. 使用搜索到的结构构建NAS-Unet,并在多个医学图像分割数据集上验证性能。
5. 实验结果显示,不使用任何预训练,NAS-Unet优于U-Net和FC-DenseNet,参数量也只有6%。

相比已有方法,本文的创新点在于首次将神经架构搜索引入医学图像分割领域。

医学图像分割结果:

• 为评估NAS-Unet的性能，使用了三种医学图像数据集（MRI、CT和超声）：Promise12、Chaos和NERVE数据集。
• 使用Dice相似系数（DSC）函数的负值来更新所有模型的权重。
• 使用DSC和Mean Intersection over Union (mIOU)来评估模型性能。
• 基线方法是U-Net和FC-Densenet。为了公平，作者使用Pytorch重新实现了它们，并使用了相同的数据增强策略。

FGAM: A pluggable light-weight attention module for medical image segmentation

这篇论文提出了一个名为FGAM的插件式轻量级注意力模块,用于医学图像分割。

主要的创新点：

1. 提出了一个简单但有效的FGAM模块,可以灵活地插入到各种编码器-解码器模型中,用于医学图像分割。
2. FGAM模块试图利用分割模型本身提取的特征表示能力,通过将编码器特征作为可查询的特征字典来发掘这种能力。
3. 在五个不同的医学图像数据集(四个公开数据集和一个内部数据集)上,在各种基于编码器-解码器的模型中实验了FGAM模块。

FGAM模块的模型结构：

1、编码器的第一层包含了最丰富的原始图像信息，所以第一层的输出作为特征字典。解码器的最后一层输出作为查询特征。

2、注意力产生：通过Softmax激活编码器特征字典,与查询特征做元素级乘法操作，来产生相关特征的关注。

3、输出:加入identity shortcut,保持模块结构一致性。

利用模型本身编码器-解码器结构在不同层的表达能力,不增加参数就可以提升分割效果。计算量小,可以插接到各种网络,提升分割精度。

在UNet等模型中实例化FGAM模块，来验证通用型。损失函数:采用交叉熵损失。训练:使用SGD优化器,余弦学习率衰减策略。

实验：

• 数据集:ISIC皮肤癌数据集、OCTA血管数据集、胸部X光数据集、MSD MRI数据集、IMED-OCT数据集。

• 评估指标:精确率、召回率、Dice系数等

• 结果:在各数据集上,带FGAM模块的分割模型优于不带FGAM的模型,验证了FGAM的有效性。FGAM模块也优于其他注意力模块。

MALUNet: A Multi-Attention and Light-weight UNet for Skin Lesion Segmentation

这篇论文提出了MALUNet的多注意力轻量级U型网络,用于皮肤病变分割。

主要贡献：

1. 提出了四个注意力模块,以获取全局和局部特征,建立样本间关系,融合多阶段特征。
2. 提出了基于U型结构和四个注意力模块的轻量级模型MALUNet。
3. 在ISIC2017和ISIC2018两个皮肤病变分割数据集上进行了比较实验,结果表明该模型在参数量、计算复杂度和分割性能之间取得了最优平衡。

模型结构:

1、U型backbone:包含六个编码解码阶段,通道数为{8,16,24,32,48,64}。

2、DGA模块:获取全局和局部特征信息,使模型能更全面地“看到”目标区域。

​ 包含Split Dilated Conv单元和Gated Attention单元。

​ Split Dilated Conv将特征按通道分成4部分,用不同膨胀率的可分离卷积提取全局和局部特征。Gated Attention用可分离卷积生成注意力图,对特征进行遮蔽。

3、IEA模块:基于外部注意力,通过两个记忆单元建模样本间关系，获得整个数据集的特征。

4、CAB模块:多阶段特征融合,产生完整的通道注意力图。

通过1D卷积和全连接层,在通道轴上融合多阶段特征,生成通道注意力。

5、SAB模块:多阶段特征融合,产生空间注意力图。

最大池化和平均池化特征拼接,共享可分离卷积生成空间注意力。

6、注意力模块插入第4-6阶段。CAB和SAB融合第1-5阶段特征。

结果:

在ISIC2017和ISIC2018两个皮肤病变分割数据集上进行实验,MALUNet相比UNet提升了指标,参数量减少44倍,计算量减少166倍,达到性能与复杂度的最佳平衡。

Half-UNet: A Simplified U-Net Architecture for Medical Image Segmentation

该论文提出了Half-UNet模型,主要方法是简化解码器,采用全尺度特征聚合和Ghost模块来降低复杂度,实验结果证明其在减少参数量的同时保持了分割性能。

作者通过实验分析了U型结构各个部分对分割性能的影响,发现UNet的优异表现主要来自编码器的分治策略,而不是解码器的特征融合。根据该发现提出了一个新的半U型结构Half-UNet,简化了特征融合部分，取消同尺度特征融合,采用加法实现跨尺度特征融合,减少计算量。

1. 模型结构

(1)编码器:保留了UNet的5级编码器结构,每个级别进行下采样,逐步获取语义信息,实现图像的分治。

(2)解码器:取消了UNet中同尺度特征融合部分,采用全尺度特征聚合,即将各编码级别的特征upsampling到相同尺寸,然后按元素相加实现特征融合。

(3)通道数统一:编码器和解码器每个级别的通道数均设置为64,简化网络,有利于特征融合。

(4)Ghost模块:采用可分离卷积的Ghost模块进行特征提取,进一步减小参数量和计算量。

结果:

在乳腺X光、肺结节CT和心脏MRI三个医学图像数据集上进行验证,与UNet和其变体相比,Half-UNet分割精度相当,但参数量减少98.6%,计算量减少81.8%。