阅读论文计划 1/10000

Multi-Granularity Denoising and Bidirectional Alignment for Weakly Supervised Semantic Segmentation

这篇论文的最大贡献在于提出了一种端到端的多粒度去噪和双向对齐（MDBA）方法，用于解决弱监督语义分割任务。具体来说，该方法通过以下几点做出了重要贡献：

1. 在线噪声过滤模块：引入了具有类自适应阈值的在线噪声过滤模块，用于处理图像级和像素级噪声，从而提高了模型对弱标签的鲁棒性。

2. 渐进式噪声检测模块：提出了渐进式像素级噪声检测模块，用于识别嘈杂像素，从而改善了模型对噪声的处理能力。

3. 双向对齐机制：引入了双向对齐机制，通过简单到复杂图像的合成和输出空间的对齐，减小了简单和复杂图像之间的数据分布差异，从而提高了模型的泛化能力。

作者提出了一种在线图像级噪声过滤模块，其中包括一个类自适应阈值。这个阈值是根据每个类别的特性动态调整的，以便更好地过滤噪声。

具体来说，对于每个类别，作者首先计算该类别的准确率（accuracy）作为参考值。然后，为了过滤掉图像级别的噪声，作者选择一个略低于该类别准确率的值作为该类别的阈值。这样，对于每个类别，都可以根据其特性设置不同的阈值。

在训练过程中，对于每个简单图像，如果其噪声比率高于该类别的阈值，则将其伪标签视为不可靠的，并跳过其预测-（伪）标签对于损失计算和梯度反向传播。这样，模型可以根据不同类别的特点自适应地过滤噪声，从而提高了模型的鲁棒性和性能。

使用了一种基于显著图的方法来生成伪标签，该方法包括以下步骤：

1. 生成显著图：对于每个训练图像，使用现有的显著图生成算法（如[1]）来生成显著图。

2. 生成初始伪标签：**将显著图转换为初始伪标签，其中显著图中的每个像素都被分配为前景或背景类别。**这可以通过将显著图中的像素阈值化来实现。

3. 训练模型：使用初始伪标签来训练语义分割模型。在训练过程中，作者使用了一种在线噪声过滤模块来过滤掉不可靠的伪标签，以提高模型的鲁棒性。
   

作者提出了一种渐进式像素检测模块，用于逐步检测并过滤掉噪声像素，以提高弱监督语义分割模型的性能。

具体来说，渐进式像素检测模块包括以下步骤：

1. 初始阈值设定：首先，作者使用一个初始阈值来进行像素级噪声检测。这个阈值可以根据实验或者数据集的特性来设定。

2. 逐步调整阈值：通过对交叉熵进行阈值选取，随着训练的进行，作者逐步调整阈值，以逐渐提高对噪声像素的过滤严格度。这样可以在训练过程中逐步过滤掉更多的噪声像素，从而提高模型的鲁棒性和性能。

3. 噪声像素过滤：根据逐步调整的阈值，模块会逐步过滤掉噪声像素，从而提高训练数据的质量。

总之，渐进式像素检测模块是一种用于逐步检测并过滤掉噪声像素的模块，它可以根据训练的进行逐步提高对噪声像素的过滤严格度，从而提高弱监督语义分割模型的性能。