NLP重铸篇之LLM系列(gpt-3)

最新推荐文章于 2024-06-02 18:44:28 发布
最新推荐文章于 2024-06-02 18:44:28 发布
阅读量832 收藏 12
点赞数 38
文章标签： gpt-3 深度学习 人工智能 机器学习 自然语言处理 nlp chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83878212/article/details/139090506
版权

图片

论文标题：Language Models are Few-Shot Learners
论文链接：https://arxiv.org/pdf/2005.14165.pdf
论文代码地址：https://github.com/openai/gpt-3

GPT系列主要会分享生成式模型，包括gpt1、gpt2、gpt3、codex、InstructGPT、Anthropic LLM、ChatGPT等论文或学术报告。本文主要分享gpt3的论文。

重铸系列会分享论文的解析与复现，主要是一些经典论文以及前沿论文，但知识还是原汁原味的好，支持大家多看原论文。分享内容主要来自于原论文，会有些整理与删减，以及个人理解与应用等等，其中涉及到的算法复现都会开源，代码或者更多内容请关注微信公众号「学长论文指导」回复关键字「156」即可获取！

介绍

当前处理问题的主要范式是预训练+微调，这种方式的主要限制是需要任务相关的数据集以及特定的微调。每一个新的任务，都需要大量的带标签的数据，这极大地限制了预训练语言模型的能力。微调之后的预训练模型，也常常会过拟合任务数据，从而丢失处理其他问题的能力。反观人类，在绝大多数任务上，不需要大量的标记数据就能学习好。

由此本论文训练了一个1750亿参数的自回归语言模型--GPT3，并测试其in-context学习性能。论文测试了超过24种NLP数据集，并都以3种方式进行评估，分别是：few-shot学习，one-shot学习，zero-shot学习。

论文发现，对大部分任务，其性能都随着模型容量的增加而提高，这可能表明越大的模型越适合in-context学习方式。下图就展示了所有任务汇总的指标，在三种评估方式下，随着模型参数变化的情况。

图片

模型

GPT3的基本上就是一个大号的GPT2，更大的模型容量，更多的训练数据，和更长时间的训练。

GPT3和GPT2的模型结构基本一致，除了Transformer内部结构。GPT3的Transformer使用的是类似稀疏Transformer【1】的结构，如下图展示的那样，这种结构可以提高Transformer计算的效率。下图中深蓝和浅蓝都是需要计算的点，左侧是原始结构需要计算的示例图，中间是图片输入的计算图，右侧是文本输入需要计算的图。具体计算公式，请参考论文【1】。

图片

训练过程中会计算梯度噪声尺度，用来指导选择batch size的大小。相关的一些超参数，像模型优化器、学习率等超参数如下所示：

Adam
梯度截断：1.0
正则权重衰减：0.1
学习率

  • 在头3.75亿token内，线性提高lr大小。

  • 在2600亿token内，cosine衰减到10%大小，然后保持该大小继续训练。

batch size

  • 在头40-120亿token内，从32k慢慢提高到该模型尺寸的最大值。

序列最大长度：2048

之前的一些工作表明，如果有足够多的训练数据，验证集上的loss和模型大小会逼近平滑的幂率分布【2】。所以本论文也训练了不同大小的模型，在验证集和下游任务上来验证这一假设。各个模型的规模参数如下表所示：

图片

训练数据

Common Crawl有足够多的数据，但是质量较低，论文中采取了3个步骤来提高数据质量。

  1. 以WebText内的数据作为高质量数据，Common Ceawl的为低质量数据，训练了一个简单的逻辑回归模型来判断数据质量，通过这个模型进行过滤获取了一版Common Crawl数据。

  2. 进行了模糊去重处理，保证了不会在留作验证集的保留数据上过拟合。

  3. 增加了已知的一些高质量的数据集，提高数据集的多样性。

论文下载的Common Crawl数据包含了45TB的文本，过滤后还保留570GB，大约相当于4000亿的BPE token数量。不过在实际训练过程中，并不是按照数据集的大小来进行采样的，而是将质量更高的数据集赋予了更大的采样权重。实际上就是使用少量数据的过拟合来交换更高质量的训练数据。各个数据的采样分布如下表所示。

图片

训练数据处理，还有一个比较重要的事，就是判断跟各个任务评测数据集的重合度，以降低靠记忆数据带来的指标虚假提高。论文中表示，原本是计划实现去除重复的数据的，不过过滤过程出现了bug，导致一些数据并没有被过滤掉，但重新训练模型成本实在太大(豪如openAI也负担不起)，只能在后续评测过程中，反向操作，删除出现在训练数据里的测试数据。

评测方式

论文使用三种方式来评测所有的任务，包括few-shot、one-shot和zero-shot。

图片

上图简单描述了这三种方式以及当前流行的fine-tuning的方式。简单地说，few-shot就是给定K个样本（一般10-100个之间），然后预测任务,通常情况下，K越大效果越好，但也不是一定的；one-shot就是只给定一个样本；而zero-shot就是一个样本都不给，直接预测任务。当然，除了是否给样本之外，还会给出一个任务描述，让模型能够更好地处理不同的任务，如图中所示的任务描述“Translate English to French”。除此之外，这三种方式，跟原本的fine-tuning最大的不同，在于是否改变模型的参数。fine-tuning会在学习样本的过程中，不断调整自身模型的参数，而本文的几种方式，则完全不会调整模型的参数。这也是一个模型处理所有任务的基础所在。

实验

Power-law

本论文也证明了【2】中的观点，在充分利用训练计算效率时，语言模型的性能是符合幂律的，如下图所示。除此之外，后续在各个任务上的实验也证明，随着loss的下降，各个任务上效果也得到了一致的提升。

图片

此段笔者增加。随着训练计算量的增加，各个大小的模型的验证集loss在不断下降，但在某个点之后，loss下降的速度大幅减小，不同模型的这个点和其容量大小符合幂律分布。基于此，在训练不同大小的模型时，可以在最优的时间点停止模型训练，从而达到计算资源利用率最大的效果，如果想进一步提高模型效果，选择一个更大容量的模型会更明智。

Task

论文评测了大量的nlp任务，这边不会详细介绍，任务内容大体分为下面几类：

  1. Language Modeling,Cloze,and Completion Tasks

  2. Closed Book Question Answering

  3. Translation

  4. Winograd-Style Tasks

  5. Common Sense Reasoning

  6. Reading Comprehension

  7. SuperGLUE

  8. NLI

  9. Synthetic and Qualitative Tasks

图片

各个大小的模型，在各个任务上的指标如上表所示，其中也包含了当时最优方法的效果。与GPT2相比，GPT3的在各个任务上的效果都提了一大截，在某些任务上，甚至比SOTA的有监督方法更好。

新任务

这一块就是上一个小节里面'Synthetic and Qualitative Tasks'的任务，包含一些即时计算推理任务、不太可能在训练中发生的新模式任务、或者不寻常的任务等。

其中比较有意思的，数学（加减乘）计算任务，新词造句任务（创造一个新词，给解释，然后让模型造句），以及文章生成任务。

计算任务上的表现，只能说差强人意；造句任务，则基本令人满意；文章生成任务，一定程度上表现了模型的能力所在，这类任务模型较为擅长，且生成出的文章，人类基很难辨别是否是模型生成的，相关指标如下表所示。

图片

记忆or泛化

跟GPT2的论文一样，本论文也讨论了模型的效果，是因为有泛化能力，还是只因为记住了测试数据而已（因为测试数据可能出现在训练数据中）。

overfit

GPT3的模型大小及其训练数据，都比GPT2大上两个数量级，这增加了GPT3过拟合的风险。从下图中可以看出，训练集和验证集的loss是同步下降的，随着训练时间增加，两个loss的差距并没有显式增加，可以认为这个差距并不是过拟合引起的，而是训练集和验证集的数据差异导致的。在参数量1750亿的GPT3上，也是同样的走势，这表明所有模型均没有在训练集上过拟合。

图片

overlap

倒霉的是，由于在清洗数据时的一个bug，导致各个任务上测试集的数据跟训练数据有一定的重合，但重新训练模型又代价昂贵。所以，在每个任务上，都移除了重复数据，再进行评估。下面的图和表，都表示了，各个任务的测试数据和模型训练数据的重合度，以及清理重复数据前后的指标。

图片

图片

局限

  1. GPT3在文本合成和一些NLP任务上效果仍然较弱。比如GPT3有时会在文档级别上不断重复自己，在较长的文章上会失去连贯性，自相矛盾，或者生成不符逻辑的语句，也较难理解物理常识等。

  2. 结构和算法层面的局限。一些在双向模型结构上表现得好的任务，GPT3可能处理不好。所以结合双向模型做一些工作，是一个好的研究方向。

  3. 一个关于语言模型（不管自回归还是双向的）更基本的局限，是预训练时的目标函数。当前的目标函数是将所有的token都平等对待的，并不关心哪些更重要。纯粹地放大尺寸（模型容量，数据大小，训练时长等）可能已经达到自监督方法的上限了，所以用不同的方法来破局是必要的。未来比较有前景的研究方向，很可能是从人类这里学习目标函数、基于强化学习来微调（后续工作中chatgpt做了这个方向）、或者添加图像等不同模态的信息来更好地认识世界（后续工作中chatgpt4做了这个方向）。

  4. 预训练阶段，样本的利用率很低。虽然在预测阶段，只要较少的样本，但在预训练阶段，则是使用了太多的数据，远比一个人类一生能够接触的数据都多。所以提高预训练阶段的样本利用率是未来研究的一个重要方向，也许是提供了现实世界的一些信息，或许是算法层面的改进。

  5. 一个关于few-shot学习的局限，不确定GPT3模型是否是在推断时真的“从头开始”学习到了新知识，还是模型只是识别并分辨出在训练过程中学习过的任务。所以，理解few-shot为何有效也是一个重要的研究方向（【3】中做了相关的工作）。

  6. GPT3的推理不方便又昂贵。对很多任务来说，大模型的能力是过剩的，所以后续的一个可能的方向，是将大模型定向蒸馏成一个适合大小的模型。

  7. 最后，一个在绝大数深度学习模型上都有的局限，就是缺乏解释性。

其他影响

大语言模型的应用，是把双刃剑。论文主要分析了有害影响，包括以下内容：

  • 语言模型的滥用

  • 模型中的偏见

  • 能耗

论文之外

GPT3可以说就是GPT2在各个维度上的超级加强版，效果上来说也确实提高了不少，但基本上也达到了大力出奇迹的上限。论文验证的power-law对研究人员来说，也很有启发，可以提高研究效率，或者预估模型能达到的效果以及需要的计算资源等。GPT3证明了自回归模型的效果，同时也看到了自身的局限，可以说已经为chatgpt和gpt4指明了方向。

参考

【1】Generating long sequences with sparse transformers
【2】Scaling laws for neural language models
【3】Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?

粉丝回馈

【一】上千篇CVPR、ICCV顶会论文
【二】动手学习深度学习、花书、西瓜书等AI必读书籍
【三】机器学习算法+深度学习神经网络基础教程
【四】OpenCV、Pytorch、YOLO等主流框架算法实战教程

➤ 请关注公众号【学长论文指导】回复【156】即可获取
➤ 还可咨询论文辅导❤【毕业论文、SCI、CCF、中文核心、El会议】评职称、研博升学、本升海外学府！

CV视觉
关注
  • 38
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLM-2021：GPT-J【GPT-3开源替代品】【EleutherAI 】
u013250861的博客
03-16 1056
在常规 NLP 基准测试任务当中，GPT-J 的准确率与 OpenAI 方面发布的 GPT-3 67 亿参数版高度相似。该模型使用高达 800 GB 的开源文本数据集训练而成，并在性能上足以与同等规模的 GPT-3 模型相媲美。2020 年，微软与 OpenAI 达成了协议，微软将拥有对 GPT-3 源代码的独家访问权，自此 OpenAI 就不像以往一样开放其 GPT-3 AI 模型，而 OpenAI 的 GPT-1 和 GPT-2 仍然是开源项目。的GPT-J 的源代码和模型，
LLM-GPT系列：GPT-1（201806）【1.17亿、5GB】、GPT-2（201902）【15亿、40GB】、GPT-3（202005）【1750亿、45TB】【OpenAI】
u013250861的博客
02-24 1090
GPT1：Imporoving Language Understanding By Generative Pre-trainingGPT2：Lanuage Models Are Unsupervised Multitask LearnersGPT3：Language Models Are Few-shot LearnersGitHub：https://github.com/openai/gpt-3从GPT三个版本的论文名也能看出各版本模型的重点：ChatGPT一夜走红，它会成为下一代搜索引擎吗？[转] GP
表现优于 GPT-4，ChemCrow 集成 13 种化学工具，增强大型语言模型的化学性能
04-14
最近，大型语言模型 (LLM) 在各种跨领域任务中表现出强大的性能，但在处理化学相关的问题上却举步维艰。此外，LLM 缺乏外部知识来源，限制了其在科学研究中的应用。来自洛桑联邦理工学院（EPFL）和罗切斯特大学的研究人员开发了 ChemCrow，一种 LLM 化学智能体，旨在完成有机合成、药物发现和材料设计等各种任务。通过集成 13 种专家设计的工具，ChemCrow 增强了 LLM 在化学方面的表现，并出现了新的功能。该研究通过 LLM 和专家人工评估，证明了 ChemCrow 在自动化各种化学任务方面的有效性。令人惊讶的是，作为评估器的 GPT-4 无法区分明显错误的 GPT-4 completions 和 GPT-4 + ChemCrow 性能。该研究以「ChemCrow: Augmenting large-language models with chemistry tools」为题，于 2023 年 4 月 11 日发布在 arXiv 预印上。在过去几年中，LLM 通过自动化自然语言任务改变了各个领域。然而，LLM 往往难以完成看似简单的任务，例如基础数学和化学操作。AI 已
GPT-4能否点亮通用人工智能？
04-06
GPT-4发布后，微软人工智能研究人员发表了一篇论文，称OpenAI语言模型展示了通用人工智能（AGI）的“火花”。 GPT-4是OpenAI最新的大型语言模型（LLM），在对其公开发布进行微调之前，研究人员可以访问其不受限制的版本六个月。“通用人工智能的火花：GPT-4的早期实验”是微软机器学习基础团队在与GPT-4合作将其与Bing搜索引擎集成时所做观察的结果。研究人员澄清说，这只是朝着越来越智能的系统迈出的第一步，并强调他们的研究是基于GPT-4的早期版本。 AGI的概念，是计算世界中一个备受争议的话题，实际定义有时也很模糊。目前的人工智能可以被描述为狭义的，因为它是由机器学习模型组成的，这些模型是为执行特定功能而设计的。 微软的研究人员认为，GPT-4比以前的模型表现出更多的通用智能。他们声称GPT-4特别擅长在没有特定训练的情况下执行各种任务，并在数学和编码等领域取得了接近人类水平的表现。在这项研究中，该团队基于“推理、计划、解决问题、抽象思考、理解复杂想法、快速学习和从经验中学习的能力”来定义智能，他们说AGI指的是展示这些广泛智能能力的系统。 论文摘要揭示了作者的印象：“
aiXcoder郝逸洋：迎接GPT-4挑战，未来将开发千亿级语言模型
04-14
4月14日，在刚刚落幕的GTIC 2023中国AIGC创新峰会上，aiXcoder（硅心科技）CTO郝逸洋带来了主题为《大型语言模型（LLM）时代下的代码生成》的主题演讲。 他谈道，GPT-4带来了代码生成的新变革，支持更长序列、更多指令号微调、多模态（图片输入）等操作，展现出更适于泛用的效果，同时也面临不少问题，包括缺乏相关文件、依赖库及需求文档，以及速度较慢、信息安全威胁等。 实际上，程序生成模型与语言模型有较大区别，比如在交互方式方面，普通的对话语言模型以问答、续写为主，程序生成模型则需要填空、补全、备份。 郝逸洋称，未来，aiXcoder将促进模型从百亿级扩展到千亿级，加入大量自然语言处理+代码的混合数据，针对编程中的各类场景专门构造指令数据集，从而得到综合性能更好的代码编辑工具。 据悉，aiXcoder（硅心科技）是一家AI虚拟编程机器人研发商，旗下有“aiXcoder智能编程机器人”，基于深度学习模型，并针对不同的专业领域和编程语言，能够自动预测程序员的编程意图，向用户推荐即将书写的下一段代码，进而提升代码的编写效率。 以下为郝逸洋的演讲实录： 各位下午好！ 之前的一些环节
OpenAI 闭门讨论会V3纪要GPT-4.pdf
04-04
拾象一直关注本轮范式转移的头部公司 OpenAI，以及大模型给行业带来的影响。海外 独角兽在社群内举办了一系列优质线上闭门讨论会，本次为系列讨论会的第三场，主题 是在 3 月 15 日发布的多模态预训练大模型 GPT-4。 围绕 GPT-4，我们集中讨论了以下几个问题： 1. 对模型能力演变和边界的思考：包括 GPT-4 发布后有哪些新技术导入、解锁了哪 些新能力、带来哪些新机会、从应用/算力/infra/研究上的变化，以及未来的演变走 向、关键要素、带来哪具体的影响/案例/新机会，还有 LLM 的能力边界； 2. 对 AI Native Apps 的思考：包括应用 LLM 的什么好案例、什么特点、关键要素是 什么、看好哪些垂类应用、壁垒，应该怎么做 AI Native Apps 等； 3. 对模型格局的思考：OpenAI 一家独大，还是多寡头，模型和应用的关系，垂直应 用都要拥有自己的模型，还是基于 OpenAI 开发； 4. LLM 相关的非共识判断。 以下为本次会议的详细实录。 Q1：GPT-4 之后，如何看模型能力演变和边界 GPT4 升级、能力提升影响很大，因为通
GPT-5：人工智能的新里程碑
04-13
人工智能技术正在以惊人的速度发展，其中最引人注目的是OpenAI的大型语言模型（LLM）系列，即GPT。GPT是生成预训练变换器（Generative Pre-trained Transformer）的缩写，它可以根据输入的文本生成自然语言内容。从2018年的GPT-1到2022年初的GPT-3.5，GPT系列不断刷新着人工智能的记录，为我们带来了许多令人惊叹的应用，例如ChatGPT、Bing Chat等。 现在，OpenAI正准备推出下一代大型语言模型，即GPT-5。据传闻，GPT-5将在2023年12月完成训练，并有望达到人工通用智能（AGI）的水平，人工通用智能又被称为强人工智能，是指具有一般人类智慧，可以执行人类能够执行的任何智力任务的机器智能。如果这些传闻属实，那么GPT-5将成为人工智能技术的新里程碑，为我们的社会带来前所未有的变化和影响。 那么，GPT-5究竟有什么特点和能力呢？它又会对我们的生活产生什么样的冲击呢？本文将从以下几个方面对此进行简要介绍。 GPT-5的特点和能力 GPT-5是基于GPT-4进行改进和扩展的大型语言模型，它将继承并增强GPT-4的多模态处理
【GPT-3】第1章 大型语言模型时代
sikh_0529的博客
09-28 7626
您无需从头开始构建模型来解决您的问题，而是使用针对更一般问题进行训练的模型作为起点，并使用特别策划的数据集在您选择的领域对其进行更具体的训练。它的数据集和模型都比用于 GPT-2 的数据大两个数量级：GPT-3 有 1750 亿个参数，并且在混合了五个不同的文本语料库上进行了训练，这比用于训练 GPT 的数据集大得多-2。该实验的结果是一个具有新的非凡能力的模型，以 GPT-3 的形式出现。对于我们的示例，我们会说编码器是以法语为母语的人，而解码器是以英语为母语的人。GPT 只是变压器的解码器部分。
大语言模型的开山之作—探秘GPT系列：GPT-1-GPT2-GPT-3的进化之路
小小帅
02-22 1622
目前NLU（Natural Language Understanding）方向的局限性：有标签的数据相对较少，限制了模型性能的提升。此外，目前预训练语言模型存在一定的局限性1.不能通用：不同损失函数在各个任务上表现差异大，训练数据集并没有包含各个NLP任务。2.不统一：将预训练语言模型迁移到下游任务的方法不统一，不同的子任务，有时还需要调整模型结构。
LLM | GPT-NEOX论文详解
weixin_44649780的博客
03-06 1416
GPT-NEOX使用旋转位置编码。模型权重使用float16表示。最大序列长度为2048。论文题目：2022.04.14_GPT-NeoX-20B: An Open-Source Autoregressive Language Model。
GPT-1、GPT-2和GPT-3模型详解及其进化之路
皮皮blog
09-22 2337
原文[OpenAI gpt模型基于Transformer的语言模型，其利用Transformer的decoder结构来进行单向语言模型的训练。GPT的核心思想是先通过无标签的文本去训练生成语言模型，再根据具体的NLP任务（如文本蕴涵、QA、文本分类等），来通过有标签的数据对模型进行fine-tuning。文中所用的网络结构如下：​。
GPT-1/GPT-2/GPT-3/GPT-3.5 语言模型详细介绍
人工智能曾小健
06-23 5014
从上图中可以看到，base模型是绿色的，RL Policy是灰色的，他们两个都会根据同样的Prompt来输出不同的结果，而接下来就是把两个模型的Reward分数拉的尽可能的大，使得两个的差别越大越好，所以在下面的公式当中，利用了KL DIvergence来衡量两个模型之间分布的差异。实际上船长在这里插一嘴，GPT3.5的RM标注数据，会使用到一些硬性的，主观性不是那么强的指标，例如是否回答问题，是否为低俗色情等等，但是不会完全依赖于这些指标，为什么呢？根据验证集上的RM分数进行最终的SFT模型选择。
GPT-1, GPT-2, GPT-3, GPT-3.5, GPT-4论文内容解读
BGoodHabit的博客
02-05 5118
GPT-1, GPT-2, GPT-3, GPT-3.5, GPT-4论文内容解读
LLMs之GPT-4 Turbo：11月6日OpenAI重磅更新—在DevDay上宣布的新模型和开发者产品(全新的GPT-4 Turbo、128K上下文窗口、视觉功能)
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-07 1773
​ LLMs之GPT-4 Turbo：11月6日OpenAI重磅更新—在DevDay上宣布的新模型和开发者产品(全新的GPT-4 Turbo、128K上下文窗口、视觉功能) 目录 一、GPT-4 Turbo具备128K上下文窗口 二、助手API、检索和代码解释器 三、API中的新模态 四、模型定制 五、版权保护 六、Whisper v3和一致性解码器 一、GPT-4 Turbo具备128K上下文窗口 我们于3月发布了GPT-4的第一个版本，并于
GPT-4o VS GPT-3.5 完胜
山云的专栏
06-02 211
最近，GPT-4o已经限时免费开放了，试了一下，然后，说我的时间到了，然后，有给我转到3.5，正好遇到一个问题做一下对吧，感觉4O完胜啊。3.5还是很好胡诌，也就是瞎说。
ChatGPT-3
最新发布
qianzhima2012的博客
06-02 135
强大的语言理解和生成能力：ChatGPT-3能够理解复杂的人类语言输入，不仅能够回答各种问题，还能进行多轮对话，记得之前的对话内容并据此调整后续的回答，使交流更加连贯和自然。批量生成与定制化内容：具备高效的批量文档生成能力，可以根据关键词和特定主题快速产出定制化的文章，满足不同场景下的写作需求，如学术论文、新闻报道和个人博客等。文本生成：能够生成高质量的文本内容，涵盖文章、故事、新闻报道等，其生成的文本往往难以与人类创作区分开来，这对于内容创作、营销、新闻报道等领域有着重大影响。
【深度学习-第6篇】使用python快速实现CNN多变量回归预测（使用pytorch框架）
fengzhuqiaoqiu的博客
05-30 631
这一篇我们讲CNN的多变量回归预测。是的，同样是傻瓜式的快速实现。本篇是之前MATLAB快速实现CNN多变量回归预测的姊妹篇。
基于RNN和Transformer的词级语言建模 代码分析 log_softmax
flyfish
05-30 1255
flyfish
LLM与NLP之间的关系，LLM与GPT模型的关系，LLM与transformer的关系
06-11
LLM是一种基于语言模型的学习算法，可以用于NLP任务。GPT模型是一种基于transformer架构的语言模型，也可以用于NLP任务。因此，LLM与NLP之间有着密切的关系，LLM可以被用来解决NLP中的一些任务。 GPT模型是基于transformer架构的语言模型，而transformer则是一种用于序列到序列学习的模型。因此，GPT模型和transformer之间有着密切的关系，GPT模型是transformer的一种变种。 LLM与GPT模型之间的关系是，LLM可以用来训练GPT模型，从而提高GPT模型的性能。在GPT模型中，LLM被用来预训练模型，在大规模文本数据上进行学习，以便模型更好地理解自然语言。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值