论文阅读：GPT2--Language Models are Unsupervised Multitask Learners

最新推荐文章于 2024-07-29 18:32:27 发布
最新推荐文章于 2024-07-29 18:32:27 发布
阅读量1.2k 收藏 6
点赞数 2
文章标签： GPT2 LM 预训练 语言模型 生成任务
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36533552/article/details/100173037
版权
GPT2是一种预训练语言模型，它使用无监督学习在大量数据上训练，能执行多种任务而无需手动创建标签数据集。通过多任务学习，模型在不同任务间共享表示，提升泛化效果。GPT2模型包含48层Transformer，使用BPE进行输入表示，并在40G数据上训练。它可以应用于机器翻译、自动摘要和音乐生成等任务。
摘要由CSDN通过智能技术生成
  • Abstact
    • GPT2的核心思想就是认为可以用无监督的预训练模型去做有监督任务。
  • Introduction：
    • 典型应用：最著名的语言模型就是手机上面的输入法，根据当前输入词推荐下一个词
    • 目标上想构造一个通用的NLP模型，可以执行很多任务，不需要为每个任务手动创建和标记数据集
    • 多任务学习：把多个相关的任务放在一起学习，同时学习多个任务。
      • 基于共享表示，把多个相关的任务放在一起学习的机器学习方法

      • 多个相关任务同时并行学习，梯度同时反向传播，多个任务通过底层的共享表示、互相补充学习到的领域相关的信息，互相帮助学习任务，提升泛化效果。

    • 把多任务学习和非监督学习联系起来。在没有进行微调的情况下，也取得了很好的效果。说明了泛化能力进一步增强 训练集和测试集同分布
  • Approach
    • 2.1 Training Dataset 
      • 抓了800万个文档 40G数据
    • 2.2 Input Representation 
      • BPE
        • 基本词汇表13W 常用3.2-6.4W 字节层面词典大小256
        • 防止Bpe字符类别合并任何序列
        • 不需要分词预处理 字节<
最低0.47元/天 解锁文章
咕噜咕噜day
关注
Language Models are unsupervised multitask learners
Young, Simple, Naive
10-10 801
预训练语言模型在 zero-shot 的情况下能够很好地处理多种下游任务，且无需任何参数或网络结构的调整
【深度学习】GPT-2，Language Models are Unsupervised Multitask Learners，【语言建模】
q742971636的博客
06-17 815
自然语言处理任务，如问答、机器翻译、阅读理解和摘要生成，通常通过在特定任务的数据集上进行监督学习来实现。我们展示了当在一个包含数百万网页的新数据集WebText上进行训练时，语言模型在没有任何明确监督的情况下开始学习这些任务。以文档加问题作为条件，语言模型生成的答案在CoQA数据集上达到了55 F1分数——在没有使用超过127,000个训练样例的情况下，匹配或超过了四个基线系统中的三个系统的表现。语言模型的容量对零样本任务转移的成功至关重要，并且随着容量的增加，任务的表现以对数线性方式提高。
论文阅读《Language Models are Unsupervised Multitask Learners》
Diobld的博客
03-12 1323
论文地址：《Language Models are Unsupervised Multitask Learners》 代码地址：https://github.com/openai/gpt-2 文章目录论文介绍模型框架实验分析结论 论文介绍 本文将常识推理和情感分析两项任务联系起来，采取更一般的方法。证明了语言模型可以在zero-shot下无需任何参数或架构的修改执行下游任务。 模型框架 核心依旧是Language Modeling，形式化为 ，从中可以学习到 。单任务预测形式化为p(output|inpu
GPT2理论详解
最新发布
m0_64148253的博客
07-29 1045
GPT2是OpenAI公司在2019年8年发布的一篇论文，论文名字是《Language Models are Unsupervised Multitask Learners》语言模型是无监督的多任务学习。在模型架构上与GPT1相比没有太大的区别，但是其训练所使用的数据和模型的参数大大增加，并且增加了zero-shot设置。接下来本文将进行GPT2的介绍。尽管前面出现了GPT1、BERT这类预训练的大模型，但是其仍然需要在带标签的数据上进行下游任务上的微调，这是一件比较麻烦的事情。
Language Models are Unsupervised Multitask Learners 论文纪要
芝麻挞
05-13 1535
GPT-2一出来就被刷屏，然而官方称害怕被用来生成恶意语料就没有开源，而是release了一个小很多的模型（并且有人实践证明小模型要辣鸡很多）。 不过除了津津乐道吃瓜，以及暗暗羡慕财大气粗的openAI砸钱搞出这个巨无霸模型，甩其他学术界小喽喽几百条街之外，还是要把paper拿过来好好盘一盘。
OpenAI GPT-2语言模型是非监督多任务学习器 Language Models are Unsupervised Multitask Learners
DarrenXf的专栏
03-09 2124
paper https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf 个人翻译，并不权威 语言模型是非监督多任务学习器 摘要 自然语言处理任务，比如问答，机器翻译，阅读理解和摘要，通常是通过在具体任务数 据集上的监督学习方法处理的。我们证明语言模型开始学习这些任务没有任何显示的 监督, 当训练在一...
gpt2-ml：适用于多种语言的GPT2，包括预先训练的模型。 GPT2多语言支持，15亿个参数中文预训练模型
02-03
适用于多种语言的GPT2 | 简化的GPT2训练脚本（基于Grover，支持TPU） 移植的bert令牌生成器，多语言语料库兼容 1.5B GPT2预训练中文模型（〜15G语料库，10w步） 含电池的Colab演示 1.5B GPT2预训练中文模型（〜30G语料库，22w步） 预训练模型 尺寸 语言 语料库 词汇 链接1 链接2 SHA256 1.5B参数 中文 约30G 线索（8021代币） e698cc97a7f5f706f84f58bb469d614e 51d3c0ce5f9ab9bf77e01e3fcb41d482 1.5B参数 中文 〜15克 伯特（21128代币） 4a6e5124df8db7ac2bdd902e6191b807 a6983a7f5d09fb10ce011f9a073b183e 和语料库 使用训练22w步骤 Google Colab 只需单击两次（不包括Colab身份验证过程），即可开始进行1.5B预训练的中文模型演示： 培养 免责声明 此存储库中的内容仅供学术研究之用，我们不提供任何结论性意见。 引文 @misc{GPT2-ML
GPT2.0语言模型 Language Models are Unsupervised Multitask Learners
u013602059的专栏
07-11 7389
论文链接：https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf Tensorflow代码链接：https://github.com/openai/gpt-2 Pytorch代码链接：https://github.com/huggingface/pytorch-pretrained-BERT 参考文档：https://mp.weixin.qq.com/s/c0LXAj5tN_59eJKc8yBTLQ 参考.
《Language Models are Unsupervised Multitask Learners》
08-22
本文总结了论文《Language Models are Unsupervised Multitask Learners》的主要内容和贡献，论文探讨了语言模型在无监督学习下的多任务学习能力。 自然语言处理任务 自然语言处理任务，例如问题回答、机器翻译、...
ChatGPT2论文解读《Language Models are Unsupervised Multitask Learners》（2019）
大菜鸟的博客
06-05 2570
ChatGPT-2论文解读
gpt-2：“语言模型是无监督的多任务学习者”论文的代码
02-15
状态：存档（代码按原样提供，预计无更新） gpt-2 论文代码和模型。 您可以在我们的， 和阅读有关GPT-2及其分阶段发布的。 我们还供研究人员研究他们的行为。 *请注意，由于错误（在我们以前的博客文章和论文中），我们的原始参数计数是错误的。 因此，您可能已经看到小型代表117M，中等代表345M。 用法 该存储库是研究人员和工程师尝试GPT-2的起点。 有关基本信息，请参见我们的。 一些警告 GPT-2模型的健壮性和最坏情况下的行为尚不为人所知。 与任何机器学习的模型一样，请针对您的用例仔细评估GPT-2，尤其是在未进行微调的情况下或在可靠性至关重要的安全性至关重要的应用中使用。 我们训练GPT-2模型的数据集包含许多有和事实不正确的文本，因此GPT-2模型也可能有偏见和不准确。 为避免样品被误认为是人为书写，我们建议在广泛传播之前将样品清晰地标记为合成样品。 我们的模型
【论文精读】GPT2
weixin_44934783的博客
02-11 1628
GPT2
[论文笔记]GPT-2
日积月累，天道酬勤
10-21 719
⭐ 作者提出了GPT-2，针对GPT-1进行了一些修改，基于无监督训练。使用Pre-LN的层归一化方法；在最后一个自注意力块后添加了一个额外的层归一化；修改了残差层权重缩放因子；扩充了词汇表；将上下文大小从512扩充到了1024；使用了更大的批次512。 作者开始注意到零样本设定下的表现，观察到语言模型的容量对性能至关重要。给最终性能超群的175B参数GPT-3一个启发。
论文精读--GPT2
m0_73202283的博客
02-23 1296
自然语言处理任务，如问答、机器翻译、阅读理解和摘要，通常在任务特定的数据集上使用监督学习来处理。我们证明了当语言模型在名为WebText的数以百万计的网页新数据集上进行训练时，它们开始在没有明确监督的情况下学习这些任务。当在文档和问题的条件下，语言模型生成的答案在CoQA数据集上的F1分数达到了55，这与或超过了4个基线系统中的3个，而没有使用127,000多个训练示例。语言模型的容量对零样本任务迁移的成功至关重要，而且增加模型容量可以在各种任务上以对数线性的方式提高性能。
GPT-2 论文翻译
热门推荐
Learning
04-01 1万+
GPT-2 论文翻译 基本是机器翻译，也进行了基本的人工矫正，凑活看吧 原论文：《Language Models are Unsupervised Multitask Learners》 原论文地址：https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multita...
GPT2(Language Models are Unsupervised Multitask Learners)论文阅读
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-16 435
在GPT1的基础上，GPT2中在多种NLP任务表示、训练数据准备、输入表示、模型设计四个方面上进行了改进实现。
GPT系列论文解读：GPT-2
qq_51957239的博客
10-04 2101
GPT（Generative Pre-trained Transformer）是一系列基于Transformer架构的预训练语言模型，由OpenAI开发。以下是GPT系列的主要模型：GPT：GPT-1是于2018年发布的第一个版本，它使用了12个Transformer编码器层和1.5亿个参数。GPT-1的训练数据包括了互联网上的大量文本。GPT-2：GPT-2于2019年发布，是GPT系列的第二个版本。它比GPT-1更大更强大，使用了24个Transformer编码器层和1.5亿到15亿个参数之间的不同配置
多模型语言python_GPT2 多语言支持, 15亿参数中文预训练模型
weixin_39648469的博客
11-30 513
GPT2 for Multiple Languages Simplifed GPT2 train scripts（based on Grover, supporting TPUs）Ported bert tokenizer, multilingual corpus compatible1.5B GPT2 pretrained Chinese model ( ~15G corpus, 10...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值