【小样本分割】PFENet:Prior Guided Feature Enrichment Network forFew-Shot Segmentation

论文：Prior Guided Feature Enrichment Network for Few-Shot Segmentation

代码：https://github.com/dvlab-research/PFENet

目录

简介

方法介绍

先验掩码生成（Prior Generation）

特征融合模块Feature Enrichment Module

实验结果

补充

损失函数

resize方法

代码调试

---

简介

        一篇经典的关于小样本语义分割方向的论文，主要创新点:

        (1)a training-free prior mask generation method that not only retains generalization power but also improves model performance.

        (2) Feature Enrichment Module (FEM) that overcomes spatial inconsistency by adaptively enriching query features with support features and prior masks.

        包含：1）一种无需训练的先验掩码生成方法；2）一个多尺度特征融合模块FEM

        解决的问题：对训练类别中高层语义信息（high-level semantic information）的不恰当使用，以及查询和支持的目标不一致性。

方法介绍

先验掩码生成Prior Generation

        先验掩码通过计算支持图像和查询图像特征之间的相似度来生成，它的主要目的是引导查询图像中的特征关注支持图像中的目标区域，类似于一种“注意力机制”。先验掩码会抑制与支持图像目标无关的区域，这样模型在分割时可以更专注于实际目标，而不是受到背景或其他物体的干扰。

        但通过传统的支持掩码来提取前景和背景信息，已经能有效地引导模型关注支持图像中的目标区域，并过滤掉背景，那么为什么需要先验掩码呢？

        个人理解：传统方法直接利用支持掩码提取支持图像的前景特征和背景特征，但是由于查询图像与支持图像存在类内差异性，例如物体的角度、大小等不同，因此只用支持掩码提取前景类别是不够的。而使用先验掩码，通过高层特征可以在查询图像中先找出与支持特征的类别中相关性更强的部分，融合进FEM帮助模