MFSNet: A multi focus segmentation network for skin lesion segmentation

MFSNet: A multi focus segmentation network for skin lesion segmentation

MFSNet：一种用于皮肤病灶分割的多焦点分割网络

作者：Hritam Basak

期刊：Pattern Recognition 2022

项目地址： https://github.com/Rohit-Kundu/MFSNet

摘要：分割是医学图像分析识别和定位疾病、监测形态学变化、提取判别特征以进一步诊断的必要手段。皮肤癌是全球最常见的癌症类型之一，其早期诊断对于从体内完全消除恶性肿瘤至关重要。本研究开发了一个人工智能（AI）框架，用于使用深度学习方法进行监督皮肤病变分割。所提出的框架称为MFSNet（多焦点分割网络），使用不同比例的特征映射来计算最终的分割掩码，使用原始输入的RGB皮肤损伤图像。在此过程中，首先对图像进行预处理以去除不需要的伪影和噪声。MFSNet采用最近提出的卷积神经网络（CNN） Res2Net骨干网来获取并行部分解码器（PPD）模块中使用的深度特征，从而获得分割掩码的全局映射。在网络的不同阶段，分别在两个边界注意（BA）模块和两个反向注意（RA）模块中使用卷积特征和多尺度地图来生成最终的分割输出。MFSNet在三个公开可用的数据集（PH2、ISIC 2017和HAM10000）上进行评估时，优于最先进的方法，证明了框架的可靠性。

文章贡献：

1. 在MFSNet的不同阶段使用不同重点的分割图有助于准确地绘制病变的粗结构和细边缘。

2. 与文献中常用的分割框架不同，该模型在注意力模块的后续步骤中对编码特征进行上采样，而不是采用U-Net类型架构中的粗上采样。

3. 我们在三个公开的数据集（PH2、ISIC 2017和HAM10000）上对所提出的MFSNet模型进行了评估，在这些数据集上分别获得了0.954、0.987和0.906的Dice相似系数值，优于现有的方法。

图像预处理：

皮肤镜图像在大小、像素强度方面各不相同，并且可能会受到噪音或体毛形式的不必要的伪影的影响。这些伪影可能导致某些图像的分割结果突然出现，并可能降低模型的整体性能。

因此，为了解决这些问题，我们在分割图像之前使用标准的图像预处理方法。所有图像都被调整为256 × 256的形状，以便更快地进行卷积并解决过多的内存限制。接下来，我们执行图像归一化来解决图像对比度不均匀的问题。最后，我们介绍了脱毛的图像着色方法。

根据Telea[29]的工作，我们使用了几种形态学操作从皮肤镜图像中去除毛发。首先将输入的RGB图像转换为灰度图像，然后进行Wang等人[30]提出的黑帽变换。在这方面，我们定义了一个结构元素：一个形状为17 × 17的十字形二维数组，即中间行和列由1组成，其他位置都包含0的数组。

与Wang等人[30]类似，闭合也是为了去除区域内的小空洞，同时保持原始区域的形状和大小不变。因此，黑帽变换产生的输出图像包含比周围像素值更暗的元素，而比结构元素更小。一个合适的阈值应用于从黑帽变换获得的输出，以获得毛发状的工件。

快速行军法[31]被广泛用于分割目的。在本研究中，我们将该算法应用于图像上绘。我们使用黑帽变换的阈值图像输出和原始输入图像，并用邻近的像素替换伪影或毛发结构。图2显示了图像伪影去除不同中间步骤的图像输出。

模型主要架构：

1. 输入图像最初通过一系列卷积层，使用Res2Net主干进行特征提取，其中执行下采样。其中，只有第二层和第三层的特征被认为对学习过程的边缘引导有用，因为底层特征保留了足够的边界信息[34]。因此，它们用于显式学习边界信息的BA模块。上采样由PPD模块完成。

2. BA模块同时从全局分割图（PPD的输出）和卷积层的浅层特征中获取输入。通过一系列的距离变换和其他数学运算，得到一个增强的边界图，进一步供RA模块使用。BA的详细算法和工作流程将在后面的2.5节中描述。

3. RA模块从对应的卷积层、BA模块和下一层的上采样分割映射中获取特征。RA模块使用两个单独的输入分支来学习特征，以生成与两个不同类（前景和背景）相关的分割掩码。因此，RA模块生成每个类的掩码，以在包含两个相邻类之间共享的高级语义信息的区域中放大反向类响应。最后，将这两个分支的预测融合，生成RA分支的分割输出。