小样本图像语义分割综述

这些小样本分割方法都是利用基于度量的元学习思想，根据其度量工具是否有需要学习的参数，本文将这些小样本分割方法分为两种类型：基于参数结构的小样本分割模型和基于原型结构的小样本分割模型。
$基于参数结构$的小样本分割算法利用或设计许多卷积结构来提高感受野或捕捉上下文信息和空间信息，在语义信息量大的数据集上的性能优于基于原型结构的方法。但是过多的卷积结构使模型容易出现过拟合的现象。
$基于原型结构$的小样本分割算法利用无参的度量工具度量代表全局的特征原型和特征之间的距离，这种做法具有很强的解释性、抗噪声能力。由于全局的类原型过滤掉许多干扰信息的同时也忽视许多局部信息，这种方法获得的原型有时候不能很好的指导分割，也就是基于原型结构的小样本分割算法存在原型偏置问题，普遍通过解决偏置问题来提升分割性能。

一、基于参数结构的小样本分割模型

基于参数结构的小样本分割方法的一般模型如图1所示。这种方法通常采用有参的度量工具：卷积作为度量工具，通过在训练集上的学习，为度量工具学习一个合适的参数配置。该方法首先利用特征编码器(FeatureEncoder)编码查询图片(Query image)和支持图片(Support image)，得到特征图，再利用特征比较模块( Feature Comparison)将查询图片中的同类别特征“激活”，最后利用特征解码器( Feature Decoder)优化前一阶段的比较结果，扩大感受野,捕捉上下文信息，进而得到预测图。

基于参数结构的小样本分割算法使用有参度量方法来比较支撑集图像特征和查询集图像特征，通常采用卷积网络或全连接网络来实现。基于参数结构的小样本分割算法通常将骨干网络权重固定，而对特征比较模块和特征解码器进行改进。例如：

• 利用迭代更新策略对特征解码器进行优化（CANet 2019）
• 利用多尺度感知和注意力机制对特征比较模块进行优化（PFENet 2020）

1.1 迭代更新预测

CANet（2019）

网络结构如下：

密集比较模块的灵感来源于图像分类中度量学习的距离函数，其作用是衡量图片之间的相似度。

CRNet（2020）交叉参考网络

之前的工作仅能对查询集图片做出预测，而CRNet不仅可以预测查询集图片，还能对支持集图片做出预测。借助同时预测查询集和支撑集的对照预测机制，CRNet能够更好的发现两类图片中存在的共现特征，并利用这些特征来增强生成的图像特征。

1.2 多尺度感知

由于语义分割任务是对图片像素的预测任务，因此聚合多尺度信息和上下文信息能有效地提高模型的预测能力。

PFENet（2020）

PFENet借助金字塔池化，设计了FEM模块来聚合不同尺度的上下文信息，以达到提高分割性能的目的。
此外，PFENet认为高维特征（即ResNet的layer4输出）仍具有指导意义，提出使用余弦相似度来发掘支撑集图片和查询集图片高维特征之前的关系，用以输出一个粗略的分割结果，记为Prior Mask。接下来FEM模块聚合多尺度的支撑集图片特征、查询集图片特征和Prior Mask来建立不同分辨率信息之间的传递通路，并输出最终的分类结果。如下图：

二、基于原型结构的小样本分割模型

基于原型结构的小样本分割方法的一- 般模型如图2所示。这种办法利用原型网络(29的思想，先提取类别的原型，然后利用度量函数等无参的度量工具进行度量与分类。首先通过骨干网络（Backbone）将支撑图片和查询图片编码并投影到一个高维空间，得到特征，再利用掩膜平均池化分别从前景和背景特征提取前景原型和背景原型，原型表示在这个高维空间中的类中心。
最后利用度量函数（例如：余弦函数，欧氏距离）来度量样本特征与原型在高维空间的距离进行分类得出预测图。

2.1 单原型方法

PANet（2019）原型对齐网络

SimProNet（2020）