每天给你送来NLP技术干货!
作者:某霁
链接:https://www.zhihu.com/question/487096135/answer/2123646517
学术分享,侵删
私以为prompt之所以能够work,是因为prompt将下游的NLU任务转化为了语言模型任务,也就是large-scale pretrained model的预训练任务本身,从而能够直接利用pretraining过程中学习到的知识,而不是仅仅将pretrained model当成一个feature extractor,并降低了对finetuning的依赖。
之所以能够执行这样的转化,是因为NLU任务本身就是可以用自然语言描述的。
CV任务是否具备这样的特征呢?如果能用某种方式将下游任务(object detection等)转化为预训练任务,将其output space map到预训练的output space上,也许就类似prompt了?没啥特别好的想法,只能抛砖引玉一下,欢迎讨论
(说了半天啥都没说hhhhh
投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。
方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。
记得备注呦
整理不易,还望给个在看!