JCS: An Explainable COVID-19 Diagnosis System by Joint Classification and Segmentation备忘录

JCS: An Explainable COVID-19 Diagnosis System by Joint Classification and Segmentation

论文地址：https://arxiv.org/pdf/2004.07054.pdf

1.论文整体结构：

编码器-解码器体系结构：我们的分割模型由一个编码器和一个解码器组成。

编码器。编码器基于VGG-16 主干，没有最后两个完全连接的层。它具有五个分别定义为{E1，E2，E3，E4，E5}的VGG块。首先给VGG-16主干提供CT图像，然后从五个VGG块的最后一层生成多尺度特征图。为了将输入要素图缩小一半，每个图块的前部（第一个图块除外）是最大池化函数，步幅为2。图块Ei生成的图谱包含分辨率最高的最精细图元，而E5块的特征图是最粗糙的，分辨率最低。为了获得更好的性能，我们为编码器提出了增强功能模块（EFM），以提高其表示能力。在模块E5的最后一层conv5_3之后添加EFM模块。它由两个分组的Atrous模块（GAM）组成，以提取具有较大接收场的更强特征图。 GAM模块会生成一个更小的特征图，与VGG-16主干的最粗糙的特征图相比，它的大小只有一半。它还增强了由块E5产生的特征图的表示能力。因此，我们的编码器会生成六个级别的特征图，步幅分别为{1、2、4、8、16、32}。当我们采用U形编码器-解码器体系结构[50]时，所有这六个特征图都将在解码器中使用，这将在后面介绍。解码器。我们的解码器具有5个具有5种不同大小的侧面输出。在这里，我们没有预测跨度为32的最粗特征图的侧面输出，因此没有侧面输出与最粗特征图的大小匹配。在我们的解码器中，我们提出了一种细心特征融合（AFF）策略，以汇总来自不同阶段的特征图并预测每个阶段的侧面输出。我们的AFF强调了顶层特征图的重要性，并利用注意机制从底部特征图中过滤出有用的特征。具有与CT图像输入相同分辨率的最后一个输出将被选作最终预测。

2.gam模块

GAM模块的第一层是1 x 1卷积层，用于扩展特征图的通道。然后将特征图平均分为4组。与平凡的群卷积不同，我们将具有不同原子率的原子卷积部署到4个群上，以得到具有各种接受场的更丰富的特征图。为了充分利用有用的功能，我们在网络中采用了挤压激励（SE）单元。也就是说，特征图的每个通道都乘以由SE块计算的通道因子，该SE块由两个线性层和一个S型函数组成。我们将SE块中的减少率设置为4。为将输出通道减少一半，我们在SE块后添加1 x 1卷积层。最后，我们使用3 x 3卷积层作为下一个模块的过渡层，其中通道数等于输入要素图的数量。

3.AFF模块

.

提出了一种关注特征融合（AFF）策略。在我们的AFF融合策略中，较小尺寸的特征图更具价值。如图（b）所示，当前阶段的输入特征图Mi E 和 Mi+1 D 通过1 x 1卷积层减小到一半大小。然后，通过双线性插值对降低的Mi+1 D进行上采样，以输出两倍大小的特征图。我们将两个输出连接在一起，并应用SE块（也用于GAM）以生成增强的功能图。然后，在前一阶段将此特征图与双重上采样输出的特征图连接在一起。串联后，我们使用另一个SE块再次增强功能图。在每个SE块之后，我们使用3 x 3卷积层作为过渡层，该卷积层具有与输入相同的通道数。具有单个神经元的1 x 1卷积层将用于预测一个特征图，作为当前阶段的侧面输出。