#今日论文推荐#小样本学习下的Transformer：基于谱聚类层和标签代理学习

#今日论文推荐#小样本学习下的Transformer：基于谱聚类层和标签代理学习

目的：通过提高数据的有效性来解决 Transformer “数据饥渴”的问题，从而能够使用 Transformer 解决小样本问题。
创新点（如何提高数据的有效性）：主要有两个工作，一个是提出了 token 谱聚类层，作用是获取并利用图像内部结构来降低目标前景区域和背景噪声区域分界的模糊性（也就是让目标和噪声的边界更清晰）；第二个则是提出了一个标签代理学习方案，作用是充分利用图像-标签对的视觉信息而不是单一的标签视觉概念。
模型：HCTransformer，基于自监督学习框架 DINO，使用三组 Transformer 进行串联，两个 transformer 之间有一个 token 下采样层，同时采取标签代理学习方案来优化学习参数。
结果：在 4 个小样本的基准数据集上做了测试，在 5-way 1-shot 和 5-way 5-shot 上都以明显的优势超过了 DINO 基准模型，同时也超过了目前的 SOTA 模型。

HCTransformer 旨在提高数据的有效性来解决小样本图像分类问题。尽管视觉 transformer 具有数据饥渴的特性，但我们在小样本学习问题上使用 transformer 取得了很好的结果。本文方法引入了一种隐性监督传播技术，通过可学习的标签代理隐性监督参数学习。我们提出了一个集成 patch token 的方案，它可以与 [cls] token 互补。此外，使用 token 谱聚类嵌入 transformer 的 token 之间的对象/场景布局和语义关系。HCTransfomer 不仅比 DINO 基准模型表现更好，而且在四个流行的基准数据集上以明显的优势胜过目前的 SOTA 模型。

论文题目：Attribute Surrogates Learning and Spectral Tokens Pooling in Transformers for few-shot learning
详细解读：https://www.aminer.cn/research_report/62a007037cb68b460fcd0aff?download=false
AMiner链接：https://www.aminer.cn/?f=cs