论文笔记--Language Models are Few-Shot Learners

最新推荐文章于 2024-04-28 21:19:43 发布
最新推荐文章于 2024-04-28 21:19:43 发布
阅读量1k 收藏 3
点赞数 1
分类专栏： 论文阅读 文章标签： 论文阅读 语言模型 nlp gpt chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38124427/article/details/130461866
版权

论文笔记--Language Models are Few-Shot Learners

1. 文章简介

  • 标题：Language Models are Few-Shot Learners
  • 作者：Brown T, Mann B, Ryder N, et al.
  • 日期：2020
  • 期刊：NIPS

2. 文章导读

2.1 概括

  文章提出了大语言模型GPT-3，在GPT-2[1][2]的基础上进一步提升了模型的参数量和训练数据集。大量的数值实验表明，足够大的语言模型+one-shot或few-shot技巧可以在一些NLP任务上持平甚至超越fine-tuned模型的SOTA表现。
  下面均用缩略语表示:

  • FS: Few-Shot
  • 0S: Zero-Shot
  • 1S: One-Shot
  • FT: Fine-Tuned

2.2 文章重点技术

2.2.1 数据集

   CommonCrawl：文章通过高质量参考语料库对CommonCrawl数据集进行了过滤，并通过模糊去重对文档进行去重，且增加了高质量参考语料库以增加文本的多样性。WebText[2]：文章采用了类似GPT-2中的WebText文档收集清洗方法获得了更大范围的网页数据。Books Corpora：此外文章增加了两个来自网络的书籍语料库。Wiki：增加了英语百科语料库。

2.2.2 模型架构

  模型架构基本延续GPT-2的基于Transformer的网络架构。在其基础上增加了Sparse-Transformer的方法：即每次计算注意力的时候并不计算当前词与句子中所有词的注意力，而是通过Sparse Matrix仅仅计算当前词与句子中其它部分单词的注意力。此外模型在参数量上远超GPT-2，具体可见下一节的表格。

2.2.3 Few-shot Learining

  模型预测的时候可以直接采用0S/1S/FS方法。模型随机从训练集中采样 K K K个标注数据作为当前测试数据的上下文，再与当前用例的输入拼接传给模型，期望模型输出next tokens（要注意所有上下文+当前用例+期望输出的大小不能超过模型可接受的窗口大小2048）。
此时大名鼎鼎的In-Context Learning还没有问世，所以GPT-3的FS是随机采样的

3. GPT-1 & GPT-2 & GPT-3

GPT-1GPT-2GPT-3
论文Improving Language Understanding by Generative Pre-TrainingLanguage Models are Unsupervised Multitask LearnersLanguage Models are Few-Shot Learners
参数量117M1542M175B
max token51210242048
batch_size645123.2M
layers124896
dimension768160012288
vocabulary size400005025750257
网络架构同Transformer修改LN的位置，增加额外的LN，残差层正则同GPT-2，增加类sparse-Transformer
下游任务FT0SZS/FS

4. FT & FS 优缺点

  • FT：缺点很明显，即需要针对下游任务注入标注的数据，标注成本高；优点为FT之后的模型在特定领域通过表现非常好
  • FS：缺点为一般来说表现略低于FT；优点即不需要标注数据，或者需要数据很少。

5. 文章亮点

  文章在GPT-2的基础之上进行了优化，将原有的大语言模型提升了两个量级。数值实验表明，大语言模型+FS在一些任务上可以达到SOTA表现。但在翻译、文本蕴含等任务上距离SOTA还有一段距离。一个合理的解释为文章的所有优化目标均为单方向的，所以在涉及到需要考虑双向句子信息（如文本比较类任务）的时候往往效果低于双方向目标的模型。

6. 原文传送门

Language Models are Few-Shot Learners

7. References

[1] Language Models are Unsupervised Multitask Learners
[2] GPT-2论文笔记
[3] Language Models are Unsupervised Multitask Learners
[4] GPT-1论文笔记
[5] GPT系列论文整理

Isawany
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Language Models are Few-Shot Learners
Young, Simple, Naive
10-16 915
通过超大规模自回归语言模型实现 Few-shot Learning
文献阅读：Language Models are Few-Shot Learners
codename_cys的博客
02-05 1189
文献阅读：Language Models are Few-Shot Learners
【论文笔记】Language Models are Few-Shot Learners B部分
最新发布
m0_48948682的博客
04-28 1314
GPT-3 技术报告（模型对社会的影响部分）。
GPT-3《Language Models are Few-Shot Learners》
m0_62872253的博客
06-21 1019
GPT-3论文笔记
GPT-3：Language Models are Few-Shot Learners 论文解读
热门推荐
weixin_41089007的博客
06-02 2万+
paper链接：https://arxiv.org/abs/2005.14165 github链接：https://github.com/openai/gpt-3 摘要 通过对大量文本进行预训练，然后对特定任务进行微调，最近的工作证明了在许多NLP任务和基准方面的巨大收获。尽管在结构上通常与任务无关，但是此方法仍然需要特定于任务的微调数据集，该数据集包含成千上万个示例。相比之下，人类通常只能通过几个示例或简单的指令来执行新的语言任务——当前的NLP系统在很大程度上仍难以做到这一点。在这里，我们证明了扩
【GPT3】Language Models are Few-Shot Learners
Pain is inevitable but suffering is optional.
04-25 1649
在大规模文本语料上的预训练模型，然后在特定任务上微调后的NLP任务已经取得了长足的进步。然而针对任务无关的的模型结构，这种方法仍然需要在特定任务的成千上万的数据集上微调。对比来看，人类仅从少部分样本或简单的命令上，就可以学习新的语言任务。这里，我们极大程度地扩展语言模型，进而提高在通用任务、小样本上的性能，甚至可以比拟之前经过微调后的sota模型性能。具体地，我们训练了GPT-3的自回归语言模型，由1750亿个参数组成，10倍于之前的非稀疏语言模型。针对所有任务，GPT-3不用梯度更新或微调。...
gpt3-Language-Models-are-Few-Shot-Learners.pdf
06-04
Language Models are Few-Shot Learners 本篇论文介绍了大型语言模型 GPT-3 在少样本学习（few-shot learning）任务中的出色表现。实验表明，GPT-3 能够在无需fine-tuning的情况下，仅通过少量示例或简单的指令，就...
2005.14165.pdf Language Models are Few-shot Learners
02-23
2005.14165.pdf Language Models are Few-shot Learners
Finetuned Language Models are Zero-Shot Learners.pdf
05-18
Finetuned Language Models are Zero-Shot Learners.pdf 该论文对自然语言处理领域的研究和应用具有重要意义， especialmente 在 zero-shot 学习和 Few-shot 学习方面。该研究结果表明，通过instruction tuning 可以...
GPT-3 论文语言模型是 FEW SHOT LEARNERS
12-28
这是最近大火的GPT-3的英文论文， LANGUAGE MODELS ARE FEW SHOT LEARNERS 原文
ChatGPT论文1-4，共四篇
09-08
1 Improving Language Understanding by GPT 2 Language Models are Unsupervised Multitask Learners 3 Language Models are Few-Shot Learners 4 GPT-4 Technical Report
OpenAI发布小样本学习器语言模型
05-30
OpenAI在昨天悄然放出了GPT第三代——《Language Models are Few-Shot Learners》。刷遍Twitter！史无前例！论文介绍了GPT-3这是一种由1750亿个参数组成的最先进的语言模型。论文由32位作者72页pdf。
【ChatGPT 翻译】Language Models are Few-Shot Learners
uglyghost123的博客
02-17 688
最近的研究表明，通过在大型语料库上进行预训练，然后在特定任务上进行微调，可以在许多NLP任务和基准测试中取得实质性的收益。尽管在体系结构上通常是任务不可知的，但是这种方法仍然需要数千或数万个示例的特定任务微调数据集。相比之下，人类通常可以仅仅通过几个示例或简单的指令来执行新的语言任务，而当前的NLP系统仍然在很大程度上难以做到这一点。在这里，我们展示了放大语言模型可以大大提高任务不可知的少量示例性能，有时甚至达到了先前最先进的微调方法的竞争力。
Language Models are Fewshot Learners by Radford et al
禅与计算机程序设计艺术
08-18 696
作者：禅与计算机程序设计艺术 1.简介 “Language Models are Few-shot Learners”这一主题引起了很大的轰动。最近，在NLP界掀起了一股“language model few shot learning”的热潮。“Few shot learning”即为任务的训练集小于
论文阅读：Language Models are Few-Shot Learners（巨无霸OpenAI GPT3 2020）
胭脂草的ABC博客
01-09 381
最近的工作表明，通过对大量文本进行预训练，然后对特定任务进行微调，在许多NLP任务和基准方面取得了实质性进展。虽然这种方法在体系结构中通常是任务无关的，但它仍然需要数千或上万个示例的特定于任务的微调数据集。相比之下，人类通常只能通过几个例子或简单的指令来执行一项新的语言任务，而当前的NLP系统在很大程度上仍难以做到这一点。在这里，论文展示了扩展语言模型可以极大地提高任务无关性、few-shot性能，有时甚至可以与以前最先进的微调方法相媲美。
GPT 3.0：Language Models are Few-Shot Learners（2020-5-28）
weixin_49346755的博客
10-12 1175
迁移学习是一种在自然语言处理中强大的技术，模型首先要针对数据丰富的任务进行预训练，然后再针对下游任务进行微调。，并在数十种语言理解任务研究比较了预训练目标，架构，未标记的数据集，迁移方法和其他因素。结合实验所得以及 C4 数据集，在许多基准上获得了最新的结果，这些基准涵盖了摘要，问题回答，文本分类等等。GPT-3是具有1750亿参数的自回归语言模型，这比以前的任何非稀疏语言模型大10倍，并在少样本学习的设置下测试其性能。
【论文笔记】Language Models are Few-Shot Learners A部分
m0_48948682的博客
03-06 1326
GPT-3 技术报告。
#Paper Reading# Language Models are Few-Shot Learner
John159151的专栏
02-20 543
论文大体内容 本文主要提出了GPT-3（Generative Pre-Training）模型，通过大模型pre-train进行In-context Learning，并在Zero-shot Learning、One-shot Learning和Few-shot Learning上进行实验，在NLU任务上有不错的表现，但也就只有较少的task上能比得上Fine-tune的SOTA。
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
full-shot models
09-02
引用提到了GPT-3模型在不同样本推理形式下的表现。其中，One-shot是指模型只使用一条样本进行推理，Few-shot是指模型使用少量样本进行推理（例如64条样本）。这些推理形式展示了GPT-3模型在处理自然语言任务时的能力。通过比较GPT-3模型和微调模型在TriviaQA数据集上的实验结果，可以看出，GPT-3模型在One-shot情况下已经能够与最好的微调模型相媲美，在Few-shot情况下甚至超过了微调模型的效果。这表明GPT-3模型在处理任务时具有较强的推理能力。然而，需要注意的是，GPT-3模型的参数量非常庞大（1750亿），在现有的硬件条件下，实际应用仍然存在一定的困难。此外，GPT-3模型采用的是从左到右的建模方式，对于需要结合上下文的NLU任务来说，GPT-3的效果可能不如预期。因此，虽然GPT-3模型在某些方面表现出强大的性能，但在实际应用中仍然面临一些挑战。引述了GPT-3模型在处理自然语言任务时的能力，特别是在One-shot和Few-shot情况下的表现。这些实验结果表明，GPT-3模型具有较强的推理能力，并且在某些情况下能够超越微调模型的效果。然而，需要注意的是，GPT-3模型的参数量非常庞大，这对于实际应用来说可能存在一些限制。此外，GPT-3模型的建模方式也可能对某些任务的效果产生一定影响。因此，在使用GPT-3模型时需要综合考虑其性能和适用性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [四两拨千斤，训练大模型的PEFT方法](https://blog.csdn.net/Solo95/article/details/131584584)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [论文笔记：Making Pre-trained Language Models Better Few-shot Learners](https://blog.csdn.net/qq_43183860/article/details/120660668)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值