Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Process

已于 2022-03-05 22:47:40 修改
阅读量258 收藏
点赞数 1
分类专栏： NLP Papers NLP AI 文章标签： 人工智能 深度学习 自然语言处理
于 2022-03-05 22:36:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chansonzhang/article/details/123153359
版权
NLP Papers 同时被 3 个专栏收录
54 篇文章 23 订阅 ¥29.90 ¥99.00
订阅专栏 超级会员免费看
AI
68 篇文章 2 订阅
订阅专栏
NLP
60 篇文章 1 订阅
订阅专栏

Abstract

本文是对自然语言处理中一种新的范式的综述，我们将这种新范式命名为：“prompt-based learning”. 为了使用预训练语言模型来进行预测，使用模板将输入 x x x 修改为 prompt x ′ x' x

了解本专栏 订阅专栏 解锁全文 超级会员免费看
chansonzhang
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
【论文笔记】Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP
gjh1716718326的博客
10-19 6036
摘要 Unlike traditional supervised learning, which trains a model to take in an input x and predict an output y as P(y|x), prompt-based learning is based on language models that model the probability of text directly. To use these models to perform predicti
预训练、提示和预测：NLP中提示的系统综述
qq_45331246的博客
09-28 1527
提示（Prompt）综述
【论文笔记】Pre-train, Prompt, and Predict
最新发布
volcano_66的博客
02-13 957
语言模型的参数不进行改变，添加提示，并在提示部分引入额外参数。仅对提示部分的参数进行训练。语言模型的参数参与训练，提示部分的参数固定，与上一种方法相反。
NLP之Prompt：《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Lang
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
10-12 8312
​ NLP之Prompt：《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing预训练、提示和预测：自然语言处理中提示方法的系统调查》翻译与解读 目录 《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Process
文献阅读 ——— Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP
weixin_44695049的博客
12-24 414
这篇文章的编写的动机是为了总结NLP的第四范式Prompt Learning
tty-prompt：漂亮而强大的交互式命令行提示符
01-29
TTY :: Prompt为工具包提供了独立的提示组件。 产品特点 收集用户输入的提示类型数 用于验证复杂输入的强大API 用户友好的错误反馈 直观的DSL，用于创建复杂的菜单 可以分页长菜单 支持Linux，OS X，FreeBSD和...
minimal-terminal-prompt::pager:干净的PS1 bash提示，显示用户，主机和路径名
05-24
然后，只需重新加载您的bash配置文件（重新启动cmd或运行source命令） git clone https://github.com/Lissy93/minimal-terminal-prompt.gitcd minimal-terminal-promptcat minimal-terminal-prompt.sh >> ~/....
react-native-prompt-android:一个在Android平台上用于Alert.prompt的polyfill库，可在Android和iOS平台上使用
05-27
react-native-prompt-android 一个适用于Android平台上Alert.prompt的polyfill库，可同时在Android和iOS平台上运行（iOS使用 ） 安装 从npm安装 npm i react-native-prompt-android --save 链接本机库 您可以使用...
NLP新宠——浅谈Prompt的前世今生
08-13
本文目标是对近期火爆异常的Prompt相关研究作一些追溯和展望，内容主要参考论文《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing》，并掺杂了笔者的一些个人见解，欢迎大家积极讨论。
xontrib-prompt-starship:Xonsh Shell中的星际飞船提示
03-07
xonsh外壳中的。...xpip install xontrib-prompt-starship # or: xpip install -U git+https://github.com/anki-code/xontrib-prompt-starship 用法 xontrib load prompt_starship 学分 该软件包是使用创建的。
git-prompt-useremail：zsh插件为git user.email添加了提示提醒
02-05
Git-prompt-useremail 是一个专为ZSH shell设计的插件，它的主要功能是在命令行中为用户提供了关于当前git工作目录中`user.email`设置的实时提示。这个插件对于那些经常在多个项目间切换，并且每个项目可能需要不同...
Pre-train, Prompt, and Predict A Systematic Survey of Prompting Methods in Natural Language Process
c_cpp_csharp的专栏
06-05 239
本文以自然语言处理的一种新范式综述和组织研究工作，我们称之为“基于提示的学习”。与传统的监督学习不同，传统的监督学习训练模型接受输入xxx并将输出y预测为Py∣xP(y|x)Py∣x，基于提示的学习基于直接对文本概率建模的语言模型。为了使用这些模型来执行预测任务，使用模板将原始输入xxx修改为具有一些未填充槽的文本字符串提示x′x'x′，然后使用语言模型来概率性地填充未填充的信息，以获得最终字符串x\hat xx，从中可以导出最终输出yyy。
CMU预训练模型最新综述：自然语言处理新范式—预训练、Prompt和预测
Paper weekly
08-02 2704
©PaperWeekly 原创 ·作者|王馨月学校|四川大学本科生研究方向|自然语言处理概要本文针对自然语言处理的新范式——我们称之为“prompt-based 学习”，进行...
Re33：读论文 Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Languag
诸神缄默不语的博客
10-09 1229
论文阅读笔记：Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
预训练新范式！为什么Prompt会更有效？
Kaiyuan_sjtu的博客
01-17 5726
作者|上杉翔二悠闲会·信息检索整理|NewBeeNLP「Prompt Tuning也许会是深度学习时代的Feature Engineering问题，如何给各大...
prompt综述论文阅读：Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural La
开心的火龙果的博客
02-14 1638
prompt综述论文阅读：Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
二元交叉熵损失梯度推导
热门推荐
Young, Simple, Naive
12-01 1万+
二元交叉熵损失（logistic 损失）定义如下： Llogistic(y^,y)=−ylogy^−(1−y)log(1−y^) L_{\text{logistic}}(\hat{y},y) =-ylog\hat{y}-(1-y)log(1-\hat{y}) Llogistic​(y^​,y)=−ylogy^​−(1−y)log(1−y^​) 其中 y∈{0,1}y\in\{0,1\}y∈{0,1...
什么是Pre-train, Prompt, and Predict
04-21
Pre-train是指在大量的数据上对模型进行预训练，以便让模型理解自然语言的各种规律和语义关系。Prompt是指在使用语言模型进行特定任务时，为模型提供一定的初始提示信息，以便模型更好地理解任务要求。Predict是指在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值