论文阅读《Language Models are Unsupervised Multitask Learners》

最新推荐文章于 2024-08-29 17:44:42 发布
最新推荐文章于 2024-08-29 17:44:42 发布
阅读量1.3k 收藏 3
点赞数
文章标签： 语言模型 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Diobld/article/details/123448186
版权

论文地址：《Language Models are Unsupervised Multitask Learners》
代码地址：https://github.com/openai/gpt-2

文章目录

论文介绍

本文将常识推理和情感分析两项任务联系起来，采取更一般的方法。证明了语言模型可以在zero-shot下无需任何参数或架构的修改执行下游任务。

模型框架

核心依旧是Language Modeling，形式化为
在这里插入图片描述
，从中可以学习到
。单任务预测形式化为p(output|input)，多任务则为p(output|input,task)，通过将tasks，inputs和outputs都表示为符号序列，便可和上面的语言模型关联起来。

Training Dataset是从网页抓取得到的相对高质量内容，数据集命名为WebText，是4500万链接的一个子集，包含超过800万个文档，共40GB的文本数据

最低0.47元/天 解锁文章
Diobld
关注
Language Models are unsupervised multitask learners
Young, Simple, Naive
10-10 825
预训练语言模型在 zero-shot 的情况下能够很好地处理多种下游任务，且无需任何参数或网络结构的调整
【深度学习】GPT-2，Language Models are Unsupervised Multitask Learners，【语言建模】
q742971636的博客
06-17 831
自然语言处理任务，如问答、机器翻译、阅读理解和摘要生成，通常通过在特定任务的数据集上进行监督学习来实现。我们展示了当在一个包含数百万网页的新数据集WebText上进行训练时，语言模型在没有任何明确监督的情况下开始学习这些任务。以文档加问题作为条件，语言模型生成的答案在CoQA数据集上达到了55 F1分数——在没有使用超过127,000个训练样例的情况下，匹配或超过了四个基线系统中的三个系统的表现。语言模型的容量对零样本任务转移的成功至关重要，并且随着容量的增加，任务的表现以对数线性方式提高。
GPT2.0语言模型 Language Models are Unsupervised Multitask Learners
u013602059的专栏
07-11 7429
论文链接：https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf Tensorflow代码链接：https://github.com/openai/gpt-2 Pytorch代码链接：https://github.com/huggingface/pytorch-pretrained-BERT 参考文档：https://mp.weixin.qq.com/s/c0LXAj5tN_59eJKc8yBTLQ 参考.
GPT2.0 Language Models are Unsupervised Multitask Learners 论文解读
热门推荐
u012526436的博客
02-22 1万+
转载请注明出处，原文地址 本文是对《Language Models are Unsupervised Multitask Learners》的翻译，部分内容可能会存在理解错误，如有错误欢迎指正交流。 简介 在自然语言处理任务中，如QA、机器翻译、阅读理解、文本摘要、都是在特定数据集上的典型的监督学习任务。我们的模型在一个数百万级别的WebText的数据集上进行非监督训练后，来验证这些NLP任务。当...
Language Models are Unsupervised Multitask Learners
最新发布
靓仔沾点健忘症，写给时间下游的自己
08-29 1113
机器学习系统现在通过结合使用大型数据集、高容量模型和监督学习(Krizhevsky et al.， 2012) (Sutskever et al.， 2014) (Amodei et al.， 2016)，在训练任务上表现出色(预期)。然而，这些系统很脆弱，对数据分布(Recht等人，2018)和任务规范(Kirkpatrick等人，2017)的微小变化很敏感。目前的系统更倾向于由狭隘的专家组成，而不是有能力的通才。
文献阅读：Language Models are Unsupervised Multitask Learners
codename_cys的博客
01-29 843
文献阅读：Language Models are Unsupervised Multitask Learners
论文笔记--Language Models are Unsupervised Multitask Learners
weixin_38124427的博客
05-01 511
GPT系列论文阅读之GPT-2
《Language Models are Unsupervised Multitask Learners》
08-22
本文总结了论文《Language Models are Unsupervised Multitask Learners》的主要内容和贡献，论文探讨了语言模型在无监督学习下的多任务学习能力。 自然语言处理任务 自然语言处理任务，例如问题回答、机器翻译、...
ChatGPT2论文解读《Language Models are Unsupervised Multitask Learners》（2019）
大菜鸟的博客
06-05 2628
ChatGPT-2论文解读
论文分享 -- > NLP -- > Language Models are Unsupervised Multitask Learners
村头陶员外的博客
06-01 880
本次要总结和分享的论文是GPT2，参考的实现代码model。本论文方法是在openAI-GPT的基础上进行了一些微小的修改得到的，从模型的角度来讲，几乎没有修改，只是去掉了fine-tune过程，无论是在预训练和预测阶段都是完全的无监督，这点有点不可思议，但是的确做到了，而且效果还不错。网上对这篇论文的讲解非常多，这里本人就讲下自己浅薄的见解。 本篇论文的核心思想并不难，但是我个人感觉论文读起来比...
GPT-2：语言模型是无监督的多任务学习者
weixin_51697828的博客
12-19 1313
原文：RadfordA,WuJ,ChildR,etal.Languagemodelsareunsupervisedmultitasklearners[J].OpenAIblog,2019,1(8):9. 1.Abstract 自然语言处理任务，如问答、机器翻译、阅读理解和摘要，通常在任务特定的数据集上，通过监督学习来完成。我们证明，语言模型在没有任何显式监督的情况下，可以在一个包含数百万网页的数据集WebText上来学习这些任务。针对阅读理解任务，GPT-2在没...
Python-LanguageModelsareUnsupervisedMultitaskLearners论文代码
08-10
"Language Models are Unsupervised Multitask Learners"论文代码
[GPT-2]论文解读：Language Models are Unsupervised Multitask Learners
bigcrab的博客
02-17 1970
GPT-2 是一个有15亿参数的模型，GPT-2的想法是转向一个通用的系统，不需要进行数据集的标注就可以执行许多的任务；因为数据集的创建是很难的，我们很难继续将数据集的创建和目标的设计扩大到可能需要用现有的技术推动我们前进的程度。这促使我们去探索执行多任务学习的额外设置。当前性能最好的语言模型系统是通过预训练模型和微调完成的，预训练主要是自注意力模块去识别字符串的语意，而微调主要是通过语意去得出不同的结果；这样一来，我们在执行不同的任务时，只需要替换掉微调的那部分结构就可以；
Language Models are Unsupervised Multitask Learners 笔记
jing_jing95的博客
03-03 1086
语言模型是无监督的多任务学习者 摘要 自然语言处理任务，如问题回答、机器翻译、阅读理解和总结，通常是通过任务特定数据集上的监督学习来完成的。我们证明，当语言模型在一个称为WebText的数百万网页的新数据集上训练时，它们可以在没有任何明确监督的情况下开始学习这些任务。当以文档和问题为条件时，语言模型生成的答案在CoQA数据集上达到55F1—在不使用127,000+训练示例的情况下匹配或超过4个...
【NLP经典论文精读】Language Models are Unsupervised Multitask Learners
HERODING23的博客
07-29 1761
一篇对我特别有启发的文章，虽然GPT-2的性能不尽如人意，但是其背后的思想还是特别值得学习和借鉴，如果没有GPT-2的出现，可能当今的大模型时代就不会来临。典型的自然语言理解任务都需要在特定任务下进行监督学习，然而本文证明在百万级别WebText数据集下，模型可以在没有任何显式监督情况下学习任务。语言模型的规模对于zero-shot相当重要，增加它可以以对数线性的方式提高性能。此外，作者还发现能够从自然语言演示中学习任务。
【GPT2】Language Models are Unsupervised Multitask Learners
Pain is inevitable but suffering is optional.
04-25 1455
Paper Link:Language Models are Unsupervised Multitask Learners GPT系列文章解读： 【GPT】Improving Language Understanding by Generative Pre-Training 【GPT2】 【GPT3】 Abstract introduction
Language Models are Unsupervised Multitask Learners翻译
nopSled
03-03 292
摘要
Language Models are Unsupervised Multitask Learners 论文纪要
芝麻挞
05-13 1561
GPT-2一出来就被刷屏，然而官方称害怕被用来生成恶意语料就没有开源，而是release了一个小很多的模型（并且有人实践证明小模型要辣鸡很多）。 不过除了津津乐道吃瓜，以及暗暗羡慕财大气粗的openAI砸钱搞出这个巨无霸模型，甩其他学术界小喽喽几百条街之外，还是要把paper拿过来好好盘一盘。
论文阅读：GPT2--Language Models are Unsupervised Multitask Learners
咕噜咕噜
08-31 1222
Abstact GPT2的核心思想就是认为可以用无监督的预训练模型去做有监督任务。 Introduction： 典型应用：最著名的语言模型就是手机上面的输入法，根据当前输入词推荐下一个词 目标上想构造一个通用的NLP模型，可以执行很多任务，不需要为每个任务手动创建和标记数据集 多任务学习：把多个相关的任务放在一起学习，同时学习多个任务。 基于共享表示，把多个相关的任务放在一起...
将上面第四章的内容补全，表格的内容从你回答中的内容缺定
05-16
| 模型名称 | 发布时间 | 论文/技术报告 | 开发公司/组织 | | --- | --- | --- | --- | | GPT | 2018年6月 | [Improving Language Understanding by Generative Pre-Training](https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf) | OpenAI | | GPT-2 | 2019年2月 | [Language Models are Unsupervised Multitask Learners](https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf) | OpenAI | | GPT-3 | 2020年6月 | [Language Models are Few-Shot Learners](https://arxiv.org/pdf/2005.14165.pdf) | OpenAI | | ChitGPT | 2021年3月 | N/A | CSDN | 注意，目前 ChitGPT 的论文或技术报告并未公开发布。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值