大模型微调-方法(2)：Prompt Tuning：深度解读一种新的微调范式

这绝对是我看过最全面细致的Prompt Tuning技术综述之一，全文共五万多字，看完之后你一定发出一样的感叹！

--->学术、前沿资讯、技术交流，移至文末加入我们

阅读该博文，您将系统地掌握如下知识点：

• 什么是预训练语言模型？
• 什么是prompt？为什么要引入prompt？相比传统fine-tuning有什么优势？
• 自20年底开始，prompt的发展历程，哪些经典的代表方法？
• 面向不同种类NLP任务，prompt如何选择和设计？
• 面向超大规模模型，如何借助prompt进行参数有效性训练？
• 面向GPT3，什么是In-Context Learning？什么是Chain-Of-Thought？
• 面向黑盒模型，如何使用prompt？
• ChatGPT里有哪些prompt技术？
• 未来prompt的发展与研究前景

Prompt的由浅入深的理解：

• 1级：Prompt是一种对任务的指令；
• 2级：Prompt是一种对预训练目标的复用；
• 3级：Prompt本质是参数有效性训练；

热点预览

预训练语言模型的发展历程