大幅提升CLIP图像分类准确率-Tip-Adapter

搬运工装环境之余 弄来的 勿怪啊 为了学习啊 国人的ai真的这么厉害了吗

先上代码和论文

• 论文链接：https://arxiv.org/pdf/2207.09519.pdf

• 代码链接：https://github.com/gaopengcuhk/Tip-Adapte

一．研究背景

对比性图像语言预训练模型（CLIP）在近期展现出了强大的视觉领域迁移能力，可以在一个全新的下游数据集上进行 zero-shot 图像识别。为了进一步提升 CLIP 的迁移性能，现有方法使用了 few-shot 的设置，例如 CoOp 和 CLIP-Adapter，即提供了少量下游数据集的训练数据，使得 CLIP 能够更好的针对不同的视觉场景做出调整。但是，这种额外的训练步骤会带来不小的时间和空间资源开销，一定程度上影响了 CLIP 固有的快速知识迁移能力。因此，我们提出了 Tip-Adapter，一种不需要额外下游训练并且能很大程度提升 CLIP 准确率的 few-shot 图像分类方法。基于此，我们又提出了一种仅需要少量微调就能达到 state-of-the-art 性能的方案：Tip-Adapter-F，实现了效率和性能的最佳折中。如下表 1 所示，Tip-Adapter 不需要任何训练时间，即可以将 CLIP 在 ImageNet 数据集提升 + 1.7% 准确率（Accuracy），而 Tip-Adapte