小样本学习Nature+1！搭配Transformer略施小计，性能赶超GPT-4o_fs-detr: few-shot detection transformer with promp-CSDN博客

本文链接：https://blog.csdn.net/m0_59163425/article/details/143258900

小样本学习又整新活了！与Transformer结合，多篇成果登顶Nature！模型MLC更是赶超GPT-4o，达到了与人类相媲美的系统泛化能力！且比传统模型，错误率直降7倍！

实际上，小样本学习+Transformer一直是研究的热门！

主要在于，小样本学习对我们在有限的数据资源下，训练出高性能模型至关重要。但也面临数据稀缺、模型过拟合、泛化能力不足等问题。而Transformer则具有强大的信息建模和表示能力，能够从有限数据中捕捉更多有用信息，并能在不同数据之间有效迁移。两者结合，能够优势互补，提高模型性能、泛化能力、加速训练和推理！

为让大家能够紧跟领域前沿，早点发出自己的顶会，我给大家准备了12种创新思路和源码。主要涉及：预训练、元学习、提示学习等热门思路。

FS-DETR: Few-Shot DEtection TRansformer with prompting and without re-training

内容：FS-DETR是一种用于少样本目标检测（Few-Shot Object Detection, FSOD）的新型Transformer架构。它的核心思想是在测试时将新类别的视觉模板作为视觉提示（visual prompts），并在这些提示上“加盖”伪类嵌入（pseudo-class embeddings），这些嵌入随后在解码器的输出端被预测。这种方法不需要在测试时对模型进行微调（fine-tuning），能够同时处理多个新对象，并且支持每个类别有任意数量的样本，所有这些都能在一个前向传播中完成。

Focus on Query: Adversarial Mining Transformer for Few-Shot Segmentation

内容：文章提出了一个新的面向查询的少样本分割模型（AMFormer），它能够在仅有粗略支持引导甚至弱支持标签的情况下，实现对查询图像的准确分割。该模型包含两个关键部分：对象挖掘变换器（G）和细节挖掘变换器（D）。对象挖掘变换器（G）负责基于支持线索激活的不完整区域进行扩展，而细节挖掘变换器（D）则用于辨别扩展掩码和真实标注之间的细节差异。通过对抗性训练过程，G被优化以生成更接近真实标注的掩码，以欺骗D。在Pascal-5i和COCO-20i基准测试中，AMFormer在各种设置下都取得了最先进的结果。

Human-like systematic generalization through a meta-learning neural network

内容：文章探讨了如何让神经网络通过元学习（Meta-Learning for Compositionality，简称MLC）实现类似人类的系统泛化能力。系统泛化是指能够理解和生成从已知概念组合成新概念的能力，这是人类语言和思维的核心特征。

Task-Adaptive Prompted Transformer for Cross-Domain Few-Shot Learning

内容：文章介绍了一种名为MetaPrompt的模型，它是一个针对跨域少样本学习（CD-FSL）的任务自适应提示变换器（Task-adaptive Prompted Transformer），通过结合提示学习（prompt learning）和参数生成框架来解决训练和新类别之间存在巨大域差距的问题。MetaPrompt模型利用注意力机制创建了一个任务条件提示生成器，能够为未见任务灵活地生成任意长度的任务自适应提示，并通过将提示附加到视觉变换器（Vision Transformer）上来促进快速任务适应，从而将任务不可知的表示引导至融入任务知识。这项工作是首次在CD-FSL中利用基于提示的参数生成机制，并且在Meta-Dataset基准测试中取得了优于现有最先进方法的结果。

Calibrating Higher-Order Statistics for Few-Shot Class-Incremental Learning with Pre-trained Vision Transformers

内容：文章探讨了在少量样本（每类5个样本）的情况下，如何适应新类别而不遗忘之前学习过的类别，即所谓的少样本类增量学习（FSCIL）。作者们利用在大规模数据集上预训练的Vision Transformer（ViT）模型，这些模型在少样本设置中面临可塑性低的关键问题。FSCIL方法首先通过大量样本的首个任务学习一个非常好的特征提取器，然后从第二个任务开始进入少样本设置。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述