项目实训（十二）--提高掩码质量

一、提高掩码质量

回顾我们的self-prompt SAM我们是通过回归模型提出的粗掩码进行位置的计算，返回给SAM进行切割，因此如果我们能够得到更精确的掩码，那么我们就可以返回更精确的坐标给予SAM模型进行切割。

而且返回精确的掩码是非常具有意义的一项工作，于是我们便开始着手研究如何提高掩码的质量。

我们可以学习polyp-pvt中的一些方法：

大多数息肉分割方法使用CNN作为主干，导致在解码器进行信息交换时需要考虑两个关键问题：
1）考虑不同层次特征之间的贡献差异
2）设计一种有效的融合机制
与现有的基于CNN的方法不同，我们采用了变换编码器，它学习更加强大和健壮的表示。此外，考虑到息肉图像的影响和难以捉摸的特性，我们引入了三个标准模块，包括级联融合模块，伪装识别模块和相似性聚合模块，其中，CFM用于从高层特征中收集息肉的语义和位置信息；CIM用于捕获隐藏在低层特征中的息肉信息，SAM将具有高级语义位置信息的息肉区域的像素特征扩展到息肉区域，从而有效地融合了跨层特征，提出的Polyp-PVT模型有效的抑制了特征中的噪声，显著提高了特征的表达能力。
在5个广泛采用的数据集上的大量实验表明，与现有的代表性方法相比，该模型对各种具有挑战性的情况具有更强的鲁棒性。

其中CFM和CIM模块可以给我们一些启发

CFM模块：拿更高级特征为低级特征做attention，这里需要注意的是做了一个事实上的中间decoder输出来构造side output supervision。

CIM模块：旨在从低级特征图中捕获息肉的细节信息，如纹理、颜色和边缘。CIM包含通道注意力和空间注意力操作，通过这些注意力机制，可以从大量冗余信息中识别出息肉的细节和边缘信息。

空间注意力机制和通道注意力机制是非常有助于我们提取图像特征的。

通道注意力机制：

首先，对一个尺寸为 H×W×C的输入特征图F进行空间维度的全局最大池化和全局平均池化，得到两个 1×1×C 的特征图；（在空间维度进行池化，压缩空间尺寸，便于后面学习通道的特征）
然后，将全局最大池化和全局平均池化的结果，分别送入一个共享的多层感知机(MLP)中学习，得到两个 1×1×C 的特征图。MLP的第一层神经元个数为 C/r，激活函数为 Relu，第二层神经元个数为 C；（基于MLP学习通道维度的特征，和各个通道的重要性）
最后，将MLP输出的结果进行Add操作，接着经过Sigmoid激活函数的映射处理，最终得到通道注意力权重矩阵。

空间注意力机制：

首先，对一个尺寸为 H×W×C的输入特征图F进行通道维度的全局最大池化和全局平均池化，得到两个 H×W×1 的特征图；（在通道维度进行池化，压缩通道大小，便于后面学习空间的特征）
然后，将全局最大池化和全局平均池化的结果，按照通道拼接(concat)，得到特征图尺寸为HxWx2，
最后，对拼接的结果进行7x7的卷积操作，得到特征图尺寸为 HxWx1，接着通过Sigmoid激活函数 ，得到空间注意力权重矩阵