BERT、GPT

最新推荐文章于 2025-04-29 12:59:48 发布
最新推荐文章于 2025-04-29 12:59:48 发布
阅读量1.8k 收藏 6
点赞数 2
分类专栏： NLP 文章标签： bert 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gu_NN/article/details/119804517
版权

目录

词嵌入的发展

NLP模型训练时需要对文本文件进行编码，转化为数值的形式。

Word2Vec和GloVe

对词还有词与词之间的关系（例如近义、反义、从属、时态等关系）进行编码，但不考虑语境。

ELMo

  • 本质：双向LSTM
  • 流程图
    在这里插入图片描述

ULM-FiT

ULMFiT（Universal Language Model Fine-tuning）是一种基于微调的通用语言模型。可以实现NLP迁移学习

OpenAI Transformer

  • 本质：多个Transformer的Decoder（仅考虑前序输入的影响）
  • 目的：预测下一个词
  • 与Decoder的差别：无Encoder-Decoder Attention层

BERT

2018年google的BERT（Bidirectional Encoder Representations from Transformers）可以理解为已经训练好的多层Transformer的encoder。包括预训练和微调两个步骤。
在这里插入图片描述
From：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Pre-training

  • 任务1:MLM
    Masked Language Model，预测被屏蔽或者代替的目标词
  • 任务2:句子位置
    判断句子B是否是句子A后面相邻的句子

Fine-Turning

作为预训练下游的模型完成任务

  • 输入：单一文本或文本对
  • 文本对应用
    • 文本释义
    • 假设条件对
    • 问答
    • 文本分类或标注

使用

Google Colab上的BERT FineTuning with Cloud TPUs

GPT

和BERT的差别

内容 BERT GPT
最低0.47元/天 解锁文章
大模型面经之bert和gpt区别
u012374012的专栏
07-29 1260
架构：基于Transformer的编码器部分进行堆叠构建，通过预训练和微调两个阶段来生成深度的双向语言表征。作为单向模型，GPT在生成文本时只能依赖已生成的上文，因此在处理需要理解整个文本的任务时可能表现不足。架构：基于Transformer的解码器部分，通过自回归语言模型预训练来学习生成连贯文本的能力。特点：采用了自回归语言模型的预训练方式，逐步生成下一个词语，以此生成连贯的文本。训练方式：单向预训练，从左到右生成文本，只能依赖已生成的上文来预测下一个词语。训练方式：双向预训练，同时考虑前后文信息。
自然语言处理中的深度学习模型：BERT与GPT
shejizuopin的博客
04-04 924
BERT是由Google在2018年提出的一种预训练语言模型，基于Transformer架构。BERT通过掩码语言模型（MLM）和下一句预测（NSP）任务进行预训练，能够学习到丰富的语言表示。BERT的主要特点是双向性，即能够同时考虑词语的左右上下文。
Bert与GPT的区别
热门推荐
梦在远方的博客
08-30 2万+
Bert与GPT的区别
bert模型和gpt模型的区别
最新发布
abcde10086_10086的博客
04-29 990
特性BERTGPT架构Encoder-only (双向上下文)Decoder-only (单向上下文)训练任务输入输出主要用于理解任务，输出句子表示主要用于生成任务，输出一个个生成的词优点适用于理解任务，双向捕捉上下文信息强大的生成能力，流畅自然的文本生成缺点不擅长生成文本，计算较慢只考虑前文，生成时不考虑全局上下文小结BERT更侧重于理解任务，擅长从文本中提取信息（例如，文本分类和问答）。GPT更侧重于生成任务，能够生成连贯且流畅的文本（例如，对话生成和创作）。
GPT vs Bert
04-12 8339
GPT和BERT的输入顺序不同：GPT是从左到右的单向模型，它只能在当前位置之前看到的上下文信息，而BERT是一种双向模型，它可以同时看到前面和后面的文本信息。GPT和BERT的训练数据不同：GPT使用了更广泛的训练数据，包括维基百科和网页文本，而BERT则使用了更多的语言任务，如问答和阅读理解。GPT和BERT的任务不同：GPT是一种基于语言模型的生成式模型，可以生成类似人类写作的文本，而BERT则是一种基于双向编码的预训练模型，可以用于许多NLP任务，如分类、命名实体识别和句子关系判断等。
BERT和GPT，差别真的挺大！
2401_85375186的博客
10-23 2033
本篇介绍 bert 和 gpt 区别。BERT 和 GPT 是自然语言处理（NLP）领域中的两种重要预训练语言模型，它们在多个方面存在显著的区别。以下是对 BERT 和 GPT 区别的详细分析。01全称：Bidirectional Encoder Representations from Transformers。架构：基于 Transformer 的编码器部分进行堆叠构建，通过预训练和微调两个阶段来生成深度的双向语言表征。
自学大语言模型之Bert和GPT的区别
qq_38915354的博客
06-05 1万+
GPT：GPT是一种基于Transformer的生成式预训练模型，其目标是通过自回归语言模型预训练来学习生成连贯文本的能力。BERT：BERT是一种基于Transformer的预训练模型，它的目标是通过双向语言模型预训练来学习上下文相关的词表示。通过大规模的预训练数据和迭代的优化过程，
bert gpt
03-15
### BERT 和 GPT 的对比分析 #### 模型架构差异 BERT（Bidirectional Encoder Representations from Transformers）是一种双向编码器表示模型，其核心在于通过 Masked Language Model (MLM) 技术训练得到上下文相关...
bert GPT
03-13
### BERT 和 GPT 的自然语言处理模型架构及应用差异 #### 架构区别 BERT（Bidirectional Encoder Representations from Transformers）和GPT（Generative Pre-trained Transformer）均基于Transformer架构，但在...
Bert与GPT-2
weixin_48185819的博客
06-03 4455
在GPT出现后，谷歌18年推出了Bert，19年时openAI又推出了GPT-2 一、共同点 Bert和GPT-2都采用的是transformer作为底层结构~ 效果都惊人的好 二、差异 语言模型：Bert和GPT-2虽然都采用transformer，但是Bert使用的是transformer的encoder，即：Self Attention，是双向的语言模型；而GPT-2用的是transformer中去掉中间Encoder-Decoder Attention层的decoder，即：Marke.
BERT和GPT的区别
Dunnud的博客
09-26 950
通过大规模的预训练数据和迭代的优化过程，GPT能够学习到语言的统计规律和结构，从而能够生成连贯、有逻辑性的文本。第二阶段，预训练的GPT模型是生成式的，而在具体应用中，可以通过微调（fine-tuning）将GPT用于特定的下游任务。在微调阶段，可以添加任务特定的层或结构，并使用有标签的任务数据来进一步调整模型，使其适应特定任务的要求。给定一个初始文本或种子句子，模型会逐步生成下一个词语，将其添加到已生成的文本中，然后再用生成的文本作为上文来预测下一个词语。最终，模型会生成一组对应被掩码的词语的预测结果。
BERT, GPT, ELMo模型对比
Decennie的博客
08-19 2445
BERT, GPT, ELMo之间的不同点 关于特征提取器: ELMo采用两部分双层双向LSTM进行特征提取, 然后再进行特征拼接来融合语义信息. GPT和BERT采用Transformer进行特征提取. BERT采用的是Transformer架构中的Encoder模块. GPT采用的是Transformer架构中的Decoder模块. 很多NLP任务表明Transformer的特征提取能力强于LSTM, 对于ELMo而言, 采用1层静态token embedding + 2层LSTM, 提取特征的能力
【面试】BERT 和 GPT 有什么区别
Lewiz_124的博客
09-07 1432
BERT：侧重于自然语言理解，双向编码器架构，使用 MLM 任务训练，适合分类、问答等理解类任务。GPT：侧重于自然语言生成，单向解码器架构，使用自回归语言模型训练，擅长对话生成、文本生成等生成类任务。
ChatGPT介绍，与BERT区别及在公司使用方向
dream_home8407的博客
02-17 6168
ChatGPT介绍，与BERT区别及在公司使用方向
Bert和GPT的区别：
cts618
08-09 319
Bert和GPT的区别：
【BERT和GPT的区别】
hw1287789687的专栏
03-16 1253
（如生成时调用外部知识库验证），可能部分调和这一矛盾。然而，在现有Transformer框架下，理解与生成的效率-效果权衡仍将长期存在。BERT与GPT的技术路线分化，反映了自然语言处理中。（如根据任务类型切换双向/单向模式）或。
GPT和BERT优缺点比较
weiyaner的博客
08-19 1万+
  GPT(Generative Pre-Training)和BERT(Bidirectional Encoder Representation from Transformers)都是以Transformer为主题架构的预训练语言模型，都是通过“预训练+fine tuning”的模式下完成下游任务的搭建 从模型的角度上 1） GPT是单向模型，无法利用上下文信息，只能利用上文；而BERT是双向模型。 2） GPT是基于自回归模型，可以应用在NLU和NLG两大任务，而原生的BERT采用的基于自编码模型，只能
Transformer两大变种：GPT和BERT的差别（易懂版）-2更
zyjwjck的博客
04-08 1703
不论是早期的利用LDA、RNN等统计模型或很小的深度学习模型的时代，还是后来利用BERT等预训练配合微调的时代，技术所提供的能力是相对原子化的，距离实际的应用场景有一定的距离。和GPT相比，BERT所使用的掩码语言模型任务（Masked Language Model）虽然让它失去了直接生成文本的能力，但换来的是双向编码的能力，这让模型拥有了更强的文本编码性能，直接的体现则是下游任务效果的大幅提升。BERT和GPT也都是基于预训练语言模型的思想，通过大量的语料训练而得到的高效率的语言模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值