【论文阅读】2023_DifFSS: Diffusion Model for Few-Shot Semantic Segmentation （arxiv）

2023_DifFSS: Diffusion Model for Few-Shot Semantic Segmentation （arxiv）
用于小样本语义分割的扩散模型 | pdf

---

主要思路是通过diffusion扩散模型生成图像将支持集样本从1shot增加到n+1shot，也就是生成辅助support图像。
本文利用了生成式AI模型（如autoregressive models、GAN）DDPM: Denoising Diffusion Probabilistic Models中的ControlNet。

• 什么是diffusion模型？
  主要思想旨在寻找模型由混沌变为秩序的一种方法。扩散模型通过噪声样本进行多阶段的去噪，最终从中去除杂质，生成我们想要的图片。
  模型在不同阶段对图片做出不同回应，也就是根据阶段数改变模模型内部参数或结构，denoise model包含一个噪声预测模块，输入阶段数和图片来预测当前阶段的噪声，最后原图减去噪声输出去噪后的图片。
  

bilibili: 扩散模型 - Diffusion Model【李宏毅2023】

• DifFSS模型
  ControlNet with Stable-Diffusion
  扩散模型可以通过文字来生成对应图像，而ControlNet可以使用特定于任务的条件 增强预训练的图像扩散模型。首先作者通过support原图和mask生成三种约束条件，即HED边缘线条、前景图像和涂鸦（scribble），不同的约束条件下生成的support图像也有所不同。
  

实验结果:
在1张原图，4张辅助图像的条件下
pascal

coco

总结: 本文是FSS任务与生成式AI模型的结合，相比于修改网络模型，选择从FSS的少样本方面出发，通过扩散模型生成辅助的support图像，也就是说，该模型的分割效果主要取决于生成模型和基础分割模型的质量。该项工作着力于如何使用扩散模型通过已有信息设置约束条件生成更好的support上，生成的辅助support图像与原有的support图像共享mask。
优点: 免于修改基础分割网络，生成的辅助图像越多，效果越好，且缺少mask的情况下，原图的HED也可做为扩散模型的约束条件。
生成漂移问题: 生成的support图像与原图目标的位置产生偏差，由于它们共享一个mask，可能会导致模型输入了有误导的支持图像（辅助图像的前景混入了背景以及部分真实前景缺失）导致学习效果变差，作者指出，该问题与support原图的质量相关。