【GPT】Improving Language Understanding by Generative Pre-Training

Paper Link: Improving Language Understanding by Generative Pre-Training

在这里插入图片描述

GPT系列文章解读
【GPT2】Language Models are Unsupervised Multitask Learners
【GPT3】Language Models are Few-Shot Learners

Abstract

自然语言理解包含一系列广泛的任务,如:文本推理、问答、语义相似度分析和文档分类等。尽管有丰富的未打标语料可以使用,但针对特定任务的打标数据仍是稀缺的,使得模型很难被充分训练。我们提出来 Generative Pre-Training模型,在未打标的语料上预训练模型,然后在每个下游任务上设计不同的微调任务。微调时,我们利用任务相关的输入转换信息,进而获得不错的迁移信息,且只需要在模型结构中做较小的改动。我们在不同的NLU任务上,验证了这种方法的效果。我们训练的任务无关的通用模型,经过特定设计的下游任务微调后,在12个测试任务上有9个取得了sota。

Framework

无监督预训练

GPT预训练中,使用了多层的 Transformer Decoder 结构。
在这里插入图片描述

有监督微调

在这里插入图片描述

特定任务输入变换

在这里插入图片描述

实验结果

在这里插入图片描述
在这里插入图片描述

模型分析

在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NLP_wendi

谢谢您的支持。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值