【语义分割】PANet Few-Shot Image Semantic Segmentation with Prototype Alignment 论文理解

解决什么问题

少训练样本的分割

---

本文创新点\贡献

将prototype的提取和无参数的度量学习分开了

优点：

1. 不需要额外学习参数，不容易过拟合

   啥意思，那一块不需要参数啊，度量学习？如何实现的呢？

2. prototype嵌入和预测都是在计算好的特征图上进行的，没有额外的前向传播
3. 简单易用，更弱的注释也可以，bbox或涂鸦？这尼玛还能分割了？

亮点

1. 利用了prototypes上的度量学习，无参数
2. 提出prototypes对齐正则化，充分利用support的知识
3. 对于带有弱注释的少样本直接使用

---

前人方法

Few-shot learning：

• 输入放入神经网络，执行加权最近邻匹配来分类
• 用一个向量特征来表示每个类
• 独立的模组直接学习support特征和query特征的联系

Few-shot segmentation：

• 从support set生成一些用来调整query set的分割处理
• 将提取的support特征和query对方到一起，然后decoder，来生成分割结果
• 使用mask average pool从suppor set里提取前后景信息

---

本文IDEA来源

Prototypical networks for few-shot learning的延申

---

方法

方法概述

用同一个backbone来提取support和query的深度特征，然后使用masked average pooling从support的特征将不同的前景物体和背景嵌入不同的prototypes中，每个prototype表示对应的类别，这样query图像的每个的像素通过参考离它的嵌入表达最近的特定类的prototype来标记，得到query的预测mask后；训练的时候，得到mask后，再将刚才提取的query feature和mask作为新的“support set”，将之前的support set作为新的“query set”，再用“support set”对“query set”做一波预测，然后再算一个loss

prototype紧凑且鲁棒的对每个语义类别进行表达；mask标记那块就是无参度量学习，通过和嵌入空间的逐像素匹配来执行分割

$$算法总览，公式编号和顺序相同$$

---

Alignment

执行一个prototype对齐正则化，用query和他的mask建立新的support，然后用这个来预测原始的support set的分割，实验证明能鼓励query的prototype对齐他们的support的prototype，只有训练的时候这么做

反向再推一次，看看是否真的相似

图像说明：
support的嵌入特征是圆形，query图像是三角形，对每个类学习prototype(蓝色和黄色的)，query通过在嵌入空间中将他的特征和最近的prototype进行匹配，来进行分割，虚线就是匹配，右图进行了prototype对齐正则化，就是通过从support到query的反向对齐。

---

Prototype learning

方法的选择：
使用support的mask注释分开学习前景和后景的prototypes，对于什么时候融合mask有两种策略，一种是早融合，一种是晚融合：

• 早：在送入网络提取器之前，把mask和support图片融合
• 晚：分别把mask和提取出来的前/后景的特征融合在一起

作者选择晚输入，能保证两个特征提取器的输入一致性(query是没有mask的)

操作：
给定support set S i = { ( I c , k , M c , k ) } S_i = \{ (I_{c,k},M_{c,k})\} Si​={ (Ic,k​,Mc,k​)}，用$F_{c,k}$表示图片的输出特征图，$c$表示类别的index，$k=1,...,K$是support图片的index，$c$类别的prototype用下式计算：
$$p_c=\frac{1}{K}\sum _k\frac{{\sum }_{x,y}{F}_{c,k}^{(x,y)}L[M_{c,k}^{(x,y)}}{{\sum }_{x,y}L[M_{c,k}^{(x,y)}=c]}$$