TPAMI 2024 | 神经提示搜索

论文信息

题目：Neural Prompt Search

神经提示搜索

作者：Yuanhan Zhang, Kaiyang Zhou, Ziwei Liu

源码链接：https://github.com/ZhangYuanhan-AI/NOAH

论文创新点

1. 提出神经提示搜索（NOAH），通过神经架构搜索自动为每个下游数据集找到最佳提示模块设计。
2. 将适配器、LoRA和VPT纳入搜索空间，实现模块间的协同优化，提升迁移学习性能。
3. 展示了NOAH在少样本学习、领域泛化和多模态任务中的优越性，验证了其通用性和高效性。

摘要

近年来，视觉模型的规模呈指数级增长，尤其是在Vision Transformer出现之后。这促使了参数高效调优方法的发展，例如学习适配器层或视觉提示令牌，这些方法允许训练一小部分模型参数，而绝大多数参数来自预训练并保持冻结状态。然而，设计合适的调优方法并非易事&