预训练语言模型中Transfomer模型、自监督学习、BERT模型概述（图文解释）

最新推荐文章于 2025-07-03 17:15:06 发布
最新推荐文章于 2025-07-03 17:15:06 发布
阅读量2k 收藏 17
点赞数 8
CC 4.0 BY-SA版权
分类专栏： 考研数学 文章标签： 语言模型 学习 bert 预训练模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiebaoshayebuhui/article/details/130402967
文章介绍了Transformer模型的结构，其由多个包含多头自注意力机制和全连接前馈神经网络的层组成，以及解码器中的位置掩码机制。此外，文章探讨了自监督学习的不同形式，如BERT等模型如何通过自监督预训练提升语义表征能力，强调了自监督学习在自然语言处理任务中的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、Transformer变换器模型


Transformer模型的编码器是由6个完全相同的层堆叠而成，每一层有两个子层 。

第一个子层是多头自注意力机制层,第二个子层是由一一个简单的、按逐个位置进行全连接的前馈神经网络。在两个子层之间通过残差网络结构进行连接，后接一一个层正则化层。可以得出,每一一个子层的输出通过公式可以表示为LayerNorm(x + Sublayer(x)),其中,Sublayer(x)函数由各个子层独立实现。为了方便各层之间的残差连接,模型中所有的子层包括嵌人层，固定输出的维度为512。Transformer 模型网络架构如图2.2所示。

Transformer模型的解码器也是由6个完全相同的层堆叠而成。除了编码器中介绍过的两个子层之外解码器还有第三个子层用于对编码器对的输出实现多头注意力机制。与编码器类似，使用残差架构连接每个子层，后接 一个层正则化层。对于解码器对的掩码自注意力子层,原论文对结构做了了改变来防止当前序列的位置信息和后续序列的位置信息混在一起。 这样的一个位置掩码操作作，再加上原有输出嵌入端对位置信息做悄难，我可以确保对位置;的预测仅依赖于已知的位置:之前的输出，而不会依赖于位置i之后的输出。

Transformer采用多头自注意力(multitheadsltentin)机制通过联合处理来自序列中不同表征子空间的不同位置的信息来来计算序列语义表征，利用不同的自注意力模块获得文本中每个词在不同语义空间下与原始词向量长度)相同的上下文语义向量在一系列任务中都表现很好

 

最低0.47元/天 解锁文章

200万优质内容无限畅学
基于Transformer架构的预训练模型
AI大模型应用之禅
06-17 809
1. 背景介绍 近年来，随着人工智能技术的迅速发展，自然语言处理（Natural Language Processing，NLP）任务取得了显著的进展。Transformer 架构作为一种强大的深度学习模型，在 NLP 领域中得到了广泛的应用。预训练模型是指在大规模数据上进行无监督学习训练得到的模型，这些模型可以在各种 NLP 任务中进行微调，以提高
实现高效生成式预训练Transformer模型：基于多模态数据融合和多任务学习的方法
AI天才研究院
07-28 1783
传统Transformer模型基于字符级别或者词级的文本，通常只进行了几层网络结构，而在实际生产环境中，任务不同，输入类型也不同，比如序列标注、序列生成等，会遇到不同的输入数据形式。因此，提出了用统一的预训练模型来解决这一问题，预训练可以使得模型具有更好的泛化能力、鲁棒性。通过对大量高质量数据进行预训练，模型可以在目标任务上取得更好的性能。目前，预训练模型有两种流派，一种是seq2seq预训练，另一种是transformer预训练。
Transformer的预训练模型
培根芝士的专栏
10-16 1329
Transformer的预训练模型有很多，其中一些在自然语言处理（NLP）和计算机视觉等领域取得了巨大成功。
Transformer详解
最新发布
qq_45630686的博客
07-03 899
transpose就是转置，不过这里指定第 1 维和第 2 维互换，即将形状（shape）从 `(batch_size, seq_len, num_heads, head_dim)` 转换为 `(batch_size, num_heads, seq_len, head_dim)`。如果 `embed_size=512` 且 `num_heads=8`，则每个头的 `head_dim=64`。该操作将原始的 `embed_size` 拆分为 `num_heads` 个 `head_dim`。
Transformer预训练模型已经变革NLP领域，一文概览当前现状
weixin_40920183的博客
10-23 1582
来源：机器之心机器之心编辑部Transformer 为自然语言处理领域带来的变革已无需多言。近日，印度国立理工学院、生物医学人工智能创业公司 Nference.ai 的研究者全面调查了 N...
【原理】经典的预训练模型（上）-Transformer
m0_63642362的博客
11-11 1305
讲解Transformer的基本原理，包括Embedding，self-attention，encoder，decoder，复杂度计算，共享机制等内容。
Transformer自监督学习(2021) - SiT: Self-supervised vIsion Transformer
要相信光
12-13 6544
文章目录原文地址初识相知回顾 原文地址 https://arxiv.org/pdf/2104.03602.pdf【萨里大学】 初识 采用ViT进行在无标注数据集上进行自监督学习，降低ViT对大数据量训练的依赖，为视觉Transformer学习一个好的表征，用于下游任务。 为达到这个目的，文中提出了SiT(Self-supervised vIsion Transformer)，网络结构如下图所示，包括三个pretext task：重建任务、旋转方向预测以及对比学习。 相知 网络架构： SiT的网络结构如上图
【AI大模型】Transformer的大规模预训练详解，零基础入门收藏这一篇就够了！！！
2401_85325557的博客
11-10 2203
在大数据的预训练下，Transformer结构通过增大模型规模和训练计算量展现了很强的扩展性。具体来说，基于Transformer的语言模型的性能与模型参数量、训练数据量和计算量呈幂律关系。Transformer主要可以在三种模式下使用：仅编码器模式、编码器-解码器模式和仅解码器模式。
常见预训练语言模型类别及代表模型
GuiBin1的博客
07-25 1937
自然语言处理（Natural Language Process，NLP）的发展目前大致经历了统计语言模型阶段、深度学习阶段、预训练语言模型阶段和大语言模型阶段。每个不同的阶段都有比较经典的算法模型，想要了解每个阶段具体的相关内容，可以参照博客。本篇主要是对其中第三个阶段，即预训练语言模型阶段常见的模型进行分类。
【大语言模型基础】GPT（Generative Pre-training ）生成式无监督预训练模型原理
weixin_53880910的博客
06-06 704
ELMo：将上下文当作特征，但是无监督的语料和我们真实的语料还是有区别的，不一定符合我们特定的任务，是一种双向的特征提取。
大语言模型底层架构——Transfomer简析及实践
2401_88228389的博客
10-22 3162
大语言模型的基本概念及发展历程前排提示，文末有大模型AGI-CSDN独家资料包哦！一、Transformer 模型Transformer 模型是由谷歌在2017 年提出并首先应用于机器翻译的神经网络模型结构。机器翻译的目标是从源语言（Source Language）转换到目标语言（Target Language）。Transformer 结构完全通过注意力机制完成对源语言序列和目标语言序列全局依赖的建模。
自监督视觉Transformer
04-11
最近，自监督学习方法在计算机视觉领域获得了越来越多的关注。在自然语言处理(NLP)中，自监督学习和transformer已经是选择的方法。最近的文献表明，transformers或某种协同监督(例如在教师网络方面)进行预训练时效果很好。这些监督的预训练的视觉变换器在下游任务获得了了非常好的结果，而只需要较小的模型改变。
预训练语言模型transformer
Icevivian
01-27 2026
预训练语言模型的学习方法有三类：自编码（auto-encode, AE)、自回归（auto regressive, AR），Encoder-Decoder结构。
Transformer模型详解
热门推荐
人无远虑，必有近忧
01-19 3万+
transformer结构是google在2017年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。 由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的detr和可变形detr，分
基于Transformer的自监督学习在NLP中的前沿应用
qkh1234567的博客
08-10 773
自监督学习是一种从数据本身自动生成监督信号的学习方法。掩码语言模型（Masked Language Model, MLM）下一句预测（Next Sentence Prediction, NSP）语言模型（Language Model, LM）这些任务允许模型从大规模未标注文本中学习语言的结构和语义。
深入剖析Transformer-模型训练
qkh1234567的博客
08-18 1769
本文全面概述了Transformer的模型训练的关键要素，包括数据集选择、硬件配置、训练规划、Adam优化器及学习率调整，以及正则化策略的应用。**注意力机制中的随机Drop Key：**在注意力计算阶段，通过随机drop部分Key来鼓励网络捕获目标对象的全局信息，从而避免了由过于聚焦局部信息所引发的模型偏置问题，进而提升了模型的精度。是深度学习训练中的一个关键概念。在训练之前，我们需要收集与任务相关的数据集，并进行必要的预处理工作，包括文本清洗、分词、编码等操作，以便将原始数据转换为模型可以接受的格式。
Transformers中加载预训练模型的过程剖析(一)
Axlsss的博客
05-10 4504
Transformers中加载预训练模型的过程剖析
Transformer模型
个人学术整理
06-21 1681
[seq2seq模型]]由两个主要部分组成：编码器Encoder和解码器DecoderEncoder将输入序列转换为一个固定长度的向量，而Decoder将该向量生成输出序列核心思想：将整个序列（输入）encode为一个向量，然后使用该向量来生成（decode）另一个序列（输出）整体上来说，seq2seq是一种先降维后升维的方法Encoder和Decoder通常使用循环神经网络RNN或变体，例如[[LSTM以及GRU模型]]Encoder的输入是一次性全部输入的，而Decoder的输入是。
Transformers实战——预训练模型
厚积而薄发
11-28 671
需要加 end_token（eos），告诉模型什么时候结束生成。做因果语言模型时，自动左填充，即使增加了。不需要 padding，
transfomer有哪些功能干
04-22
<think>好的，用户想了解Transformer的功能和用途。首先，我需要回顾一下Transformer的基本结构和工作原理。Transformer最初是在2017年的论文《Attention Is All You Need》中提出的，主要用于自然语言处理任务，但后来也被广泛应用到其他领域，比如计算机视觉。 用户的问题包括功能和用途，所以我需要分两部分回答。功能方面，核心是自注意力机制，能够捕捉长距离依赖，并行计算能力强，还有位置编码来理解序列顺序。应用场景的话，自然语言处理肯定是重点，比如机器翻译、文本生成，然后还有计算机视觉中的图像分类、目标检测，以及多模态任务，比如视觉问答。 接下来要确保回答结构清晰。可能需要分点说明功能和用途，每个部分用例子和引用来支持。用户提供的引用里提到了Vision Transformer（ViT）在图像分类中的应用，还有BERT、RoBERTa在NLP中的表现，这些都可以作为例子引用进去。同时，用户示例中的代码部分可能涉及到词嵌入和Transformer块，但用户现在的问题更偏向于概述，所以不需要深入代码细节，但可以提到这些组件的作用。 还要注意用户提到的系统级指令，比如数学表达式用$...$，独立公式用$$...$$。但当前问题可能不需要数学公式，除非提到具体算法，比如自注意力的计算。不过根据用户的问题，可能不需要深入公式，所以可能可以省略。但如果有必要的话，可以简要说明自注意力机制的计算方式，比如$Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$，但需要放在独立公式块里。 另外，需要生成相关问题。可能的问题包括Transformer的优势、与传统模型的比较、具体应用案例、训练挑战等。要确保问题相关且有深度，帮助用户进一步探索。 检查引用部分，引用[1]和[2]提到了ViT和BERT，这些可以作为应用场景的例子。引用[3]提到了词嵌入和Transformer块的结构，可能在功能部分提到模块化设计时引用。 最后，确保用中文回答，语言自然，结构清晰，分点列出，引用标记正确。可能需要避免使用太多技术术语，但用户的问题比较专业，适当使用术语是可以的。还要注意不要复制引用内容，而是用自己的话总结，并正确标注来源。</think>### Transformer架构的功能及其应用场景 #### 一、核心功能 1. **自注意力机制** Transformer 的核心是 **多头自注意力机制**（Multi-Head Self-Attention），通过计算输入序列中每个元素与其他元素的关系权重，动态捕捉长距离依赖。例如，在句子“猫追老鼠，因为它饿了”中，模型能通过注意力机制识别“它”指代的是“猫”[^2]。 2. **并行化计算** 与循环神经网络（RNN）逐词处理的顺序计算不同，Transformer 可对整个序列进行并行计算，显著提升训练效率。例如，在 GPU 上处理长度为$n$的序列时，计算复杂度为$O(n^2)$，但并行性大幅减少了实际耗时[^3]。 3. **位置编码** 通过正弦函数或可学习的位置嵌入，为输入序列添加位置信息，解决自注意力机制对顺序不敏感的问题。位置编码公式为： $$PE_{(pos,2i)} = \sin(pos/10000^{2i/d})$$ $$PE_{(pos,2i+1)} = \cos(pos/10000^{2i/d})$$ 其中$pos$为位置，$i$为维度索引[^3]。 --- #### 二、应用场景 1. **自然语言处理（NLP）** - **机器翻译**：如 Google 的 Transformer 原始论文实现了英语到德语的翻译任务[^2]。 - **文本生成**：GPT-3 等模型可生成连贯的新闻、故事甚至代码。 - **问答系统**：BERT 通过预训练和微调在 SQuAD 问答任务中达到人类水平[^2]。 2. **计算机视觉（CV）** - **图像分类**：Vision Transformer（ViT）将图像分割为块序列输入模型，在 ImageNet 上达到与 CNN 相当的性能[^1]。 - **目标检测**：DETR 模型利用 Transformer 实现端到端检测，无需手工设计锚框[^1]。 3. **多模态任务** - **图文匹配**：CLIP 模型联合训练图像和文本编码器，实现跨模态检索。 - **视频理解**：通过时空注意力机制处理视频帧序列，用于动作识别[^3]。 --- #### 三、优势与局限 - **优势**：长距离依赖建模、并行计算、可扩展性强（如 GPT-3 参数量达 1750 亿）。 - **局限**：计算资源消耗大（如 ViT 需大量数据预训练），对短序列可能过拟合[^1][^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

showswoller

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值