Mining Latent Classes for Few-shot Segmentation(21)

Overview:

As aforementioned, the latent novel classes, not belonging to the pre-defined base classes, are simply learnt as the background during training, making existing methods suboptimal in leveraging the training data(本文主要解决的问题). Motivated by this observation, we propose to mine the latent novel classes from the backgrounds to enhance the feature embeddings for better generalization to novel classes. Above that, we introduce a novel rectification technique for more stable and informative prototypes(本文主要工作).

本文在小样本孪生网络的基础上提出新类挖掘分支。

关于潜在新类挖掘分支：通过对基类进行掩码平均池化(MAP)生成K+1个代表性聚类(从文中可知，该聚类不代表具体的类，只代表类之间的共有特征)，使用该聚类对训练图中的潜在新类进行挖掘(使用的是cos距离函数度量特征图和基类聚类)，获得伪掩码。

关于网络的交叉熵损失：一个是真实掩码损失，该损失是对查询图像的真实掩码和预测掩码进行交叉熵得到；另一个是伪掩码损失，即对训练图像进行编码和解码，最终应该是生成(K+1)×H×W大小的图层，使用伪掩码和该图层进行交叉熵损失。

关于原型修正：(个人看法)在测试时，该网络只使用孪生结构。选取一个支持图像，并选取N个与之相关的图像，使用cos距离函数在N个图象中获取K个聚类，用以支持图像的原型修正。最后，使用修正的支持图像原型与查询图像特征图进行逐点cos距离度量，获得查询图像的预测掩码。

最后，上述是个人理解和看法，错误之处希望大家指出，互相学习，谢谢