这绝对是我看过最全面细致的Prompt Tuning技术综述之一,全文共五万多字,看完之后你一定发出一样的感叹!
--->学术、前沿资讯、技术交流,移至文末加入我们
阅读该博文,您将系统地掌握如下知识点:
- 什么是预训练语言模型?
- 什么是prompt?为什么要引入prompt?相比传统fine-tuning有什么优势?
- 自20年底开始,prompt的发展历程,哪些经典的代表方法?
- 面向不同种类NLP任务,prompt如何选择和设计?
- 面向超大规模模型,如何借助prompt进行参数有效性训练?
- 面向GPT3,什么是In-Context Learning?什么是Chain-Of-Thought?
- 面向黑盒模型,如何使用prompt?
- ChatGPT里有哪些prompt技术?
- 未来prompt的发展与研究前景
Prompt的由浅入深的理解:
- 1级:Prompt是一种对任务的指令;
- 2级:Prompt是一种对预训练目标的复用;
- 3级:Prompt本质是参数