
阅读笔记-Attribute Surrogates Learning and Spectral Tokens Pooling in Transformers for few-shot learning
提高小数据集下数据的利用效率,几乎没有将其应用于针对更加敏感于过拟合的小样本任务上的相关研究。一种基于 DINO [2] 知识蒸馏架构的分层级联 Transformer (HCTransformer) 网络,通过谱聚类 tokens 池化以利用图像的内在结构来减少前景内容和背景噪声的模糊性,同时也提供了对不同数据集对于 patch token 切分大小的不同需求的适用性选择;并利用一种非传统的监督方式,通过标签的潜在属性在图像标签中找到更丰富的视觉信息,而非简单地学习由标签分类的视觉概念。SOTA!

















