GPT系列论文核心

本文探讨了GPT模型的预训练方法,包括L1k损失函数和上下文预测,以及如何通过fine-tune、zero-shot和few-shot学习在下游任务中迁移和适应。同时提及了Transformer解码器的应用,涉及多种NLP任务如分类、相似性判断和阅读理解等。
摘要由CSDN通过智能技术生成

GPT

  • pre-training:给一个序列预测序列的下一个词
  • semi-supervised 半监督学习(往后也称self- supervised)
    • 第一部分:pre-training
      损失函数L1
      请添加图片描述
      k表示上下文长度【序列长度/窗口大小】,使用前k个字和模型 θ \theta θ预测第i个字是 u i u_i ui的概率;将每一个字
      的预测i(从0-句子末尾)的损失相加(取e就是连乘得到联合概率)

    • 第二部分:下游子任务fine-tune
      把预训练学到的表征迁移到子任务transfer learned representations to the target task。
      损失函数L2:

      input tokens { x 1 x^1 x1, x 2 x^2 x2, x 3 x^3 x3,… x m x^m xm } (其中还会根据子任务类别加入start、delim、extract的独特标记,此标记不能和真实文本混淆)
      label y (序列标号根据子任务类别确定)

      分类损失函数
      请添加图片描述
      请添加图片描述

合并目标函数
L 3 ( C ) = L 2 ( C ) + λ L 1 ( C ) L_3(C) = L_2(C) + \lambda L_1(C) L3(C)=L2(C)+λL1(C)

  • transformer 解码器
    请添加图片描述

GPT in NLP 经典任务

  • 分类:分类一段文字
  • 蕴含:判断前面的话是否支持后面的假设(三分类:支持、不支持、既不支持也不反对)
  • 相似:判断两端文本是否相似
  • 多选:从n个答案中选出最正确的答案
  • 其他任务
    reading comprehension
    translation
    summarization
    question answering

GPT2

  • 下游任务时不再进行fine-tune而是使用zero-shot
    zero-shot具体形式: prompt!
    (translate to French, English text , French text)
    (answer the question, document, question, answer)
    借助prompt使得预训练模型适应下游任务
  • multitask learning 多任务学习:训练模型时使用多个数据集、多损失函数 (reddit dataset…)

GPT3

使用few shot,适应子任务时和zero-shot一样也不需要计算梯度

  • zero-shot: task description + prompt =>
  • one-shot: task description + 1 example + prompt 【上下文学习】【模型推理】
    从中间的example抓取有用的信息进行下游任务的适应
  • **few-shot learning**:task description + few examples(1-100) + prompt

meta- learning、in-context learning
fine-tune:预训练模型在新的数据上进行梯度微调,学习率较小

common crawl 质量差
common crawl(负类)+ reddit (正类) logistical regression来训练出判断质量的数据模型
去重: lsh算法(判断集合和集合间的相似度)

  • 18
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值