2019ICCV-PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment

文章链接： 文章链接
代码地址： 代码链接

一. 摘要

贡献

1.PANet学习一个与类相关的原型（二维特征）， 然后在这个原型上通过与query image的进行度量做预测分割结果。
2.PANet引入了一个能提升性能的原型对齐正则化。

优点：

1.不容易过拟合。
2.除了学习原型所需的参数外，不需要额外的参数
3.原型对齐正则化只在训练阶段使用，测试时没有额外的计算量。

二. 模型

模型过程

1.先通过VGG提取特征。
2.针对one-way-one-shot任务, 提取出两个特征原型：背景原型 background prototype和前景原型foreground prototype (是通过mask averge pooling操作提取)
3.利用特征分别与两个原型做余弦相似度 得到两组预测结果，前景预测结果和背景预测结果（实际就是最后未上采样扩大分辨率的预测标签）。
4.做原型对齐正则化， 就是将分割结果作为伪标签， 交换support和query的分割位置分割（support变为query，query变为support）。

三. 实验

随机取五组1000组小样本task， 最终结果取平均值。

效果有不错的提升，但消融实验显示PAR（原型对齐正则化）提升有限。

四. 总结

这篇文章思路简单，效果好，后面很多模型都能看到PANet的影子（很多文章在这篇文章的基础上增减），PAR的可塑性很强。