AI Agent开发第61课-BERT与Transformer到底选哪个-上部

置顶 于 2025-05-11 01:38:42 发布
阅读量19 收藏
点赞数
分类专栏： AI Agent开发大全 文章标签： 人工智能 bert transformer ai agent 大模型 ai大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lifetragedy/article/details/147864402
版权

一、先理清「技术家谱」：BERT和Transformer是啥关系？

就像「包子」和「面食」的关系——BERT是「Transformer家族」的「明星成员」，而GPT、Qwen、DeepSeek这些大模型则是「Transformer家族」的「超级后辈」。

1.1 BERT：Transformer的「双向强化版」

  • 就像：把普通外卖骑手（原始Transformer）训练成「全局路况通」，能同时看到订单的「历史记录」和「当前状态」。
  • 技术特点
了解本专栏 订阅专栏 解锁全文
BERT模型和Transformer模型之间有何关系？
m0_74693860的博客
07-06 7030
BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言模型，它在自然语言处理任务中取得了重大突破。BERT模型的出现引起了广泛关注，但许多人可能对BERT与Transformer之间的关系感到困惑。本文将介绍BERT模型和Transformer模型之间的关系，帮助读者更好地理解它们的联系和差异。
关于Transformer、BERT的理解
gailj
01-17 9489
结合李宏毅老师机器学习2021——Transformer课程和网上查阅的资料，总结一下对Transformer的理解 Transformer是什么？ 从宏观角度来看，Transformer是一种基于Self-Attention机制的Seq2seq模型（序列模型），由编码器和解码器组成（自己总结的）。所以在学习Transformer前，需要先弄明白Seq2seq、编码器 / 解码器、Self-Attention（见本人之前的csdn博客）是什么。 Seq2seq模型： 这是一个序列到序列的模型，输入一个序列
BERT（Bidirectional Encoder Representations from Transformers）和Transformer之间的关系
wds_521的博客
03-17 644
BERT则使用了Transformer架构中的编码器部分（Encoder），它是一种基于Transformer的预训练模型。同时，BERT采用了双向（双向上下文）的训练方式，通过遮蔽输入文本中的一些词，然后预测这些词的上下文，从而使模型能够考虑到每个词的上下文信息。BERT（Bidirectional Encoder Representations from Transformers）和Transformer之间的关系主要体现在BERT是建立在Transformer架构之上的一种模型。
transformer
小岁月太着急
01-10 7336
翻译自 https://jalammar.github.io/illustrated-transformer/ Transformer模型结构 Transformer的主体结构图： 编码器解码器 模型分为编码器和解码器两个部分。 编码器由6个相同的层堆叠在一起，每一层又有两个支层。第一个支层是一个多头的自注意机制，第二个支层是一个简单的全连接前馈网络。在两个支层外面都添加了一个r...
2-1、Transformer 和 BERT 有什么关系？
sinat_34461199的博客
01-03 2260
Transformer 模型的关键创新包括自注意力机制（Self-Attention）和多头注意力（Multi-Head Attention），这些技术允许模型同时处理整个输入序列的信息，并捕捉序列中各个位置之间的复杂关系。它是首个实现大规模双向（全上下文）训练的模型，这意味着模型在生成每个词的表示时都考虑了整个输入序列的上下文信息。Transformer 和 BERT 之间的关系在于 BERT 是建立在 Transformer 架构之上的一种模型。
Transformer和Bert之间的关系？
CSDN_of_ding的博客
08-02 6386
Transformer和Bert之间的关系？ Transformer模型是2017年谷歌发表的论文attention is all you need中提出的seq2seq模型。现在已经取得了大范围的应用和扩展，而BERT就是从transformer中衍生出来的预训练语言模型 ...
生动说明Transformer，BERT，预训练模型的含义和关系
aopstudio的博客
10-30 3149
综上，我认为教程中应当把Transformer网络结构和BERT预训练的思想分开来看待，而不是安排在一块，并且还加一句“BERT实际上就是Transformer的编码器”造成混淆。实际上，预训练模型并不一定非得用Transformer这种网络结构，使用CNN、RNN等也是可行的。那么为什么好像从来没有听说过基于CNN或RNN的预训练模型？这是因为Transformer这种网络结构在天赋和潜能上就已经超越了CNN、RNN等，训练起来的效果也更好。
Transformer与BERT详解
热门推荐
chen_mushi的博客
03-23 2万+
Transformer 自Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention的模型，具体原理可以参考传送门的文章。之后google又提出了解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，在翻译任务上取得了更好的成绩...
Transformer模型结构详解【小白必看】
机器学习初学者必看，关注我，一起了解机器学习
03-30 1万+
Transformer模型详解 https://terrifyzhao.github.io/2019/01/11/Transformer%E6%A8%A1%E5%9E%8B%E8%AF%A6%E8%A7%A3.html 简介 Attention Is All You Need是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，...
transformer、bert网络
鲨鱼儿的博客
09-17 7140
序言 1、bert、transformer 比较传统的rnn 1、传统缺点：seq2seq使用循环网络固有的顺序特性阻碍样本训练的并行化，这在更长的序列长度上变得至关重要，因为有限的内 存限制样本的批次大小；传统的seq2seq 处理时刻数 0-50，bert可以处理 几百个时刻长度的序列。 2、新结构：Transformer，这种模型架构避免循环并完全依赖于attenti...
机器学习&&深度学习——BERT（来自transformer的双向编码器表示）
m0_52380556的博客
08-19 929
机器学习&&深度学习——BERT（来自transformer的双向编码器表示）
大模型面试准备（十四）：BERT 为何青睐 Transformer 双向编码器？
2401_84033492的博客
04-11 1473
本文全面概述了Transformer的升级模型BERT，一种基于双向Transformer编码器的预训练语言模型。BERT通过创新的预训练方式，包括遮蔽语言模型（MLM）和下一句预测（NSP）任务，成功突破了传统语言模型的限制，实现了深度双向表示的学习。这使得BERT能够捕捉更丰富的上下文信息，提升了对语言内在规律的理解能力。
transformer、bert总结
weixin_44885180的博客
04-13 5733
1、其实transformer最重要的就是，输入的是什莫，输出是什么，主要的组成部分是什么？ 现在明白一点输入和另外一个的输入其实相差一位，output主要是为了训练的时候，让下一个知道之前都发生了什么，让下一个输出在知道上一输出的内容，为了充分学习这一句话。output是最主要的就是它具有掩蔽 ...
一文看懂Transformer、BERT和GPT大模型｜AI小白必看！
最新发布
Z987421的博客
04-16 874
在如今这个AI大火的时代，Transformer、BERT和GPT这些名词大家肯定不陌生。但它们到底是什么？相互间又有啥关系呢？今天就来给大家唠唠。
BERT与Transformer到底选哪个-上部
打造全国最全的AI Agent开发知识领域的博客
03-31 884
当你的手机语音助手秒懂你"明天北京下雨吗"，或是购物App精准推荐"你需要这个"时，背后或许正上演着BERT与Transformer这对AI双雄的"神仙打架"。本文将用外卖配送和快递分拣的比喻，带你看清这对技术CP的本质差异：一个像"全知全能"的超级调度员（BERT），另一个是"灵活组队"的智能快递员（Transformer）。它们究竟在哪些场景能让你的代码"开挂"？且看本文用抖音热梗+外卖场景的硬核解析！
bert笔记
zh515858237的专栏
05-18 5646
BERT是Bidirectional Encoder Representations from Transformers的缩写。bert其实就是由多层的Transformer Encoder堆叠成的，所谓的Bidirectional其实也就是Transformer中的self-attention机制。或者也可以说是Self-Attention Layer和Layer Normalization的堆叠而成。
科研小白也能看懂这三大模型：CNN、Transformer、BERT
yyyyyybw的博客
04-15 1014
CNN：局部特征专家，适合网格数据（如图像）。Transformer：全局关系建模者，适合序列数据（如文本）。BERT：Transformer的NLP实践者，通过预训练实现通用语义理解。大神勿进！适合新手入门的自然语言处理教程，7天NLP算法入门进阶，一口气学完transformer、seq2seq、语音合成，太通俗易懂了！机器学习|深度学习这才是科研人该学的！基于深度学习的遥感图像分类实战，一口气学完图像处理、特征提取、分类算法、变化检测、图像配准、辐射校正等7大算法！通俗易懂，新手也能学会！
Transformer跟BERT、GPT的关系，看完就知道了
longxiaotian718的博客
09-28 972
解码器同样由多个相同的层组成，但在每个解码层中还包含一个跨注意力子层，用于捕捉编码器的输出。BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer的预训练语言模型，旨在通过双向训练来捕捉文本中的上下文信息。在自回归语言模型中，模型逐个生成文本中的每个单词，并使用生成的单词来预测下一个单词。总之，Transformer、BERT和GPT这三种模型各具特色，为解决不同领域的NLP问题提供了强有力的工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TGITCIC

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值