今天给大家推荐一个很好上手的创新思路:小样本学习+CLIP。
这个思路的优势在于:通过利用CLIP模型强大的跨模态表征能力,再结合小样本学习技术,我们就可以在仅提供少量标注样本的情况下,快速适应新的任务,在多个领域实现高效的学习。
更值得一提的是,最近这个方向吸引到了一大波研究兴趣,各大顶会顶刊上相关成果数量繁多,比如收录于CVPR 2024的AMU-Tuning方法、DeIL方法等,以及顶刊IJCV 2024上的CLIP-FSAR框架,投稿热度可见一斑。
为了帮助有论文需求的同学更好地掌握这个创新思路,今天我就来分享11种小样本学习+CLIP创新方法,都是今年最新,开源代码已附~
论文原文+开源代码需要的同学看文末
AMU-Tuning: Effective Logit Bias for CLIP-based Few-shot Learning
方法:论文提出了一种名为AMU-Tuning的方法,用于改进基于CLIP模型的小样本学习性能。该方法通过分析关键组件——logit特征、logit预测器和logit融合——来学习有效的logit偏差,并通过利用辅助特征、多分支训练的特征初始化线性分类器以及基于不确定性的融合策略,将logit偏差有效地整合到CLIP中,以提高小样本分类的准确性。