【AI理论学习】深入理解Prompt Learning和Prompt Tuning

最新推荐文章于 2024-06-13 17:13:56 发布

镰刀韭菜

最新推荐文章于 2024-06-13 17:13:56 发布

阅读量1.5k

点赞数

分类专栏：深度学习与机器学习文章标签：深度学习 Prompt Learning Transformer Prompt Tuning 提示学习

本文链接：https://blog.csdn.net/ARPOSPF/article/details/130263551

版权

深度学习与机器学习专栏收录该内容

103 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了Prompt Learning和Prompt Tuning在AI领域的概念和应用，阐述了它们如何帮助解决数据标注成本高和样本需求的问题。Prompt Learning通过将下游任务转化为与预训练模型目标对齐的填空题，利用预训练模型的内在能力。Prompt Tuning策略包括部分参数微调和视觉提示调整等，以实现更好的模型适应和资源效率。文章还列举了多个预训练语言模型以及在NLP和CV中的Prompt学习方法，并介绍了相关研究进展。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

近年来NLP学术领域发展真是突飞猛进，从 对比学习( contrastive learning)到现在的 提示学习（prompt learning）。自从Self-Attention 和 Transformer出现以来，它们就成为了NLP领域的热点。由于全局注意力机制和并行化的训练策略，基于Transformer的自然语言模型能够方便地编码长距离依赖关系，同时可以在大规模自然语言数据集上进行并行化训练。

众所周知，数据标注数据很大程度上决定了AI算法上限，并且成本非常高，无论是对比学习还是提示学习都着重解决少样本学习而提出，甚至在没有标注数据的情况下，也能让模型表现比较好的效果。而且由于自然语言处理领域任务种类繁多，而且任务之间的差别微小，所以为每个任务单独创建一个大语言模型很不划算。与此同时，在CV中，不同的图像识别任务往往也需要微调整个大模型。

因此，Prompt Learning的提出给这个问题提供了一个很好的方向。本文主要介绍prompt learning的基本思想和目前常用的方法。