【论文笔记】MultiR-Net：一种新的 covid-19 肺部病变区域分割和分类的联合学习网络

声明

不定期更新自己精度论文，通俗易懂，初级小白也可以理解

涉及范围：深度学习方向，包括 CV、NLP、Data Fusion、Digital Twin

论文标题：

MultiR-Net: A Novel Joint Learning Network for COVID-19 segmentation and classification

MultiR-Net：一种新的 covid-19 肺部病变区域分割和分类的联合学习网络

论文链接：http://MultiR-Net: A Novel Joint Learning Network for COVID-19 segmentation and classification

论文代码：

发表时间：2022年3月

创新点

1、提出一种既能用于病变分割的 U-Net 子网，也能用于分类的子网组合形成 MultiR-Net

2、将分割和分类的损失函数结合前来，以实现两个子网的交互

Abstract

COVID-19 的爆发导致医疗资源严重短缺。自 2020 年以来，毛玻璃样不透性 (GGO) 和胸部 CT 扫描的巩固一直是影像诊断的重要基础。COVID-19 与其他肺炎的影像学特征相似，因此难以区分它们并影响放射科医生的诊断。最近，COVID-19 中的深度学习主要分为疾病分类和病灶分割，但很少有工作关注这两个任务之间的特征相关性。

为了解决这些问题，在本研究中，我们提出了 MultiR-Net，这是一种用于组合 COVID-19 分类和病灶分割的 3D 深度学习模型，以实现实时和可解释的 COVID-19 胸部 CT 诊断。准确地说，所提出的网络由两个子网组成：一个用于病变分割的多尺度特征融合类 U-Net 子网和一个用于疾病诊断的分类子网。两个子网之间的特征通过反向注意机制和可迭代的训练策略进行融合。同时，我们提出了一个损失函数来增强两个子网之间的交互。 单个指标不能完全反映网络有效性。 因此，我们使用各种评估指标量化分割结果，例如平均表面距离、体积 Dice 和数据集测试。 我们使用包含 275 个 3D CT 扫描的数据集来对 COVID-19、社区获得性肺炎 (CAP) 以及健康人和肺炎患者的分段病变进行分类。 我们将数据集分成 70% 和 30% 用于训练和测试。

大量实验表明，我们的多任务模型框架在分类测试集上的平均召回率为 93.323%，平均精度为 94.005%，在我们数据集的分割测试集上的 Volume Dice 得分为 69.95%。

Method

MultiR-Net 网络如上所示，

（1）使用 V-Net 作为分割网络，分割子网由编码和解码路径组成。编码路径提取输入体的特征，通过下采样减少到16倍，同时保留每一层的信息；

对称解码路径通过上采样将编码路径得到的高级语义特征恢复到原始维度。Reverse attention 模块可以提高病灶边缘的分割；

为了充分利用分类子网在不同尺度上提取的特征，作者使用 1*1 卷积对解码层每一层得到的特征图进行进一步处理，生成多尺度分割图。

（2）分类网络使用 6 层卷积模块组成，在每个卷积模块之间添加了一个残差结构，以缓解梯度反向传播困难的问题；

分割结果按元素与原始输入相乘，然后馈送到分类子网以增强任务之间的交互；

获得的特征图将在病变区域具有更高的激活值，并使分类子网专注于病变。  

---------------------------------------------------------------------------------------------------------------------------------

Reverse-attention Module

反向注意机制用于增强对象检测边缘并细化，作者修改了反向注意模块中的通道数，以准确分割这些病变。

首先，通过从编码器获得的跳跃连接特征中擦除当前预测结果，其中当前预测结果是从高级特征中上采样的；

因此，网络可以学习互补区域的细节以专注于边界区域的分割，自上而下的擦除策略最终可以将粗略的预测细化为具有这些探索区域和细节的完整且高分辨率的预测结果。 

---------------------------------------------------------------------------------------------------------------------------------

Loss function

分割网络

使用 DSC Loss

 

分类网络

使用了 Cross Entropy Loss

平衡损失函数 

-------------------------------------------------------------------------------------------------------------------------------- 

Experiments 

实验目标：分割效果

 

实验目标：在数据集上测试了9个网络的分割性能

实验结果：MultiR-Net 表现优秀

 

实验目标：在数据集上测试了9个网络的分类性能

实验结果：MultiR-Net 表现优秀