Transformer

最新推荐文章于 2025-05-01 21:42:17 发布
最新推荐文章于 2025-05-01 21:42:17 发布
阅读量2k 收藏 25
点赞数 58
分类专栏： 强化学习 文章标签： 人工智能 深度学习 机器学习 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_71288092/article/details/147571234
版权

一、为什么需要Transformer？先看传统模型的痛点​​

1. ​​传统模型：RNN与CNN的短板​​

  • ​​RNN（循环神经网络）​​：逐个处理单词，像流水线作业。

    • ​​问题​​：速度慢（无法并行），且长距离词语关系容易丢失（“梯度消失”）。
    • ​​例子​​：句子“The cat, which ate the fish, was happy.”中，RNN可能无法关联“cat”和“was”。

  • ​​CNN（卷积神经网络）​​：用滑动窗口提取局部特征。

    • ​​问题​​：窗口大小固定，难以捕捉长距离依赖。
2. ​​Transformer的革新​​
  • ​​并行处理整个句子​​：所有词同时计算，速度快。
  • ​​自注意力机制​​：直接建模任意两个词的关系，无论距离多远。

​​二、Transformer的骨架：编码器-解码器架构​​

1. ​​整体结构图​

​
  • ​​编码器（Encoder）​​：理解输入内容（如一句英文）。
  • ​​解码器（Decoder）​​：生成输出内容（如对应的中文翻译）。
  • ​​核心模块​​：自注意力（Self-Attention）和前馈神经网络（FFN）。

​​三、从输入开始：词如何变成向量？​​

1. ​​词嵌入（Word Embedding）​​
  • ​​目标​​：将单词转换为计算机能理解的数值（向量）。
  • ​​例子​​：
    • “猫” → [0.2, -0.5, 1.3, ...]（一个高维向量）。
    • 语义相近的词（如“猫”和“狗”）向量距离较近。
2. ​​位置编码（Positional Encoding）​​
  • ​​问题​​：Transformer没有RNN的时序信息，需告诉模型词的位置。
  • ​​解决方案​​：为每个位置生成独特的编码向量，加到词嵌入上。
    • ​​公式​​：用正弦和余弦函数生成位置编码。
    • ​​直观理解​​：给每个词打上“位置标签”，比如第一个词标记为1，第二个为2，依此类推。

​​四、核心机制：自注意力（Self-Attention）​​

1. ​​什么是注意力？​​
  • ​​类比​​：读一句话时，大脑会重点关注某些词。
    • 例如：“我吃了披萨，它很美味。”中，“它”指向“披萨”。
2. ​​自注意力如何工作？​

​

  • ​​步骤拆解​​：

    1. ​​生成Q, K, V矩阵​​：每个词通过线性变换得到三个向量：

      • ​​Query（查询）​​：当前词想“问”的问题。
      • ​​Key（键）​​：其他词提供的“答案线索”。
      • ​​Value（值）​​：实际传递的信息。

    2. ​​计算注意力分数​​：

      • ​​Query与Key点积​​：衡量两个词的相关性。
      • ​​缩放​​：除以向量维度的平方根（防止数值过大）。
      • ​​Softmax归一化​​：将分数转化为概率分布（权重）。

    3. ​​加权求和Value​​：根据权重聚合所有词的信息。

  • ​​公式​​：

\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

3. ​​自注意力的直观例子​​
  • ​​句子​​：“The animal didn't cross the street because it was too tired.”
  • ​​模型如何关联“it”和“animal”？​​
    • “it”的Query与“animal”的Key匹配度高 → 权重高 → 聚合“animal”的Value。

​​五、多头注意力（Multi-Head Attention）​​

1. ​​为什么需要多头？​​
  • ​​单一注意力头的局限​​：可能只关注一种类型的关系（如语法）。
  • ​​多头并行的优势​​：捕捉多种关系（如语法、语义、指代）。

2. ​​如何实现？​​

  • ​​步骤​​：

    1. 将Q、K、V切分为多个头（例如8头）。
    2. 每个头独立计算注意力。
    3. 合并所有头的输出，通过线性变换得到最终结果。

  • ​​公式​​：

\mathrm{MultiHead}(Q,K,V)=\mathrm{Concat}(\mathrm{head}_{1},\mathrm{head}_{2},...,\mathrm{head}_{h})W^{O}

3. ​​多头注意力的直观理解​​
  • ​​类比​​：多人从不同角度分析同一句话，再综合意见。
    • 头1：关注主谓一致（“cat”是单数，“was”正确）。
    • 头2：关注指代关系（“it”指代“animal”）。

​​六、前馈神经网络（FFN）​​

1. ​​作用​​：对自注意力的输出进行非线性变换，增强模型表达能力。
2. ​​结构​​：两层全连接层 + 激活函数（如ReLU）。
  • ​​公式​​：

\mathrm{FFN}(x)=\operatorname{ReLU}(xW_{1}+b_{1})W_{2}+b_{2}

3. ​​直观理解​​：将注意力提取的“粗信息”加工为“细信息”。

​​七、残差连接（Residual Connection）与层归一化（Layer Normalization）​​

1. ​​残差连接​​：将输入直接加到输出上（防止深层网络梯度消失）。
  • ​​公式​​：

\text { Output = LayerNorm(x + Sublayer(x)) }

2. ​​层归一化​​：对每层的输出做标准化（均值为0，方差为1），加速训练。

3. ​​直观理解​​：
  • ​​残差连接​​：像“学习残差”而不是完整映射，让模型更容易优化。

  • ​​层归一化​​：确保每层的数据分布稳定，避免数值爆炸。

​​八、训练Transformer：预训练与微调​​

1. ​​预训练（Pre-training）​​：
  • ​​目标​​：在大规模文本上学习通用语言表示。
  • ​​方法​​：
    • ​​掩码语言模型（MLM）​​：随机遮盖部分词，让模型预测（如BERT）。
    • ​​自回归模型​​：根据上文预测下一个词（如GPT）。
2. ​​微调（Fine-tuning）​​：
  • ​​目标​​：在特定任务（如翻译、分类）上优化模型。
  • ​​方法​​：在预训练模型后接任务特定层，用少量数据训练。

​​九、Transformer的局限与优化​​

1. ​​计算复杂度高​​
  • ​​问题​​：注意力计算随序列长度平方增长（O(n²)）。
  • ​​解决方案​​：
    • ​​稀疏注意力​​：只计算部分词对的关系（如Longformer）。
    • ​​分块处理​​：将长文本分为块处理（如Reformer）。
2. ​​需要大量数据​​
  • ​​问题​​：训练Transformer需海量文本（如GPT-3用了45TB数据）。
  • ​​解决方案​​：
    • ​​知识蒸馏​​：用大模型训练小模型（如DistilBERT）。

​​十、总结：Transformer如何改变AI？​​

1. ​​核心贡献​​：
  • ​​并行计算​​：大幅提升训练速度。
  • ​​全局依赖建模​​：任意距离词语直接关联。
2. ​​影响​​：
  • ​​NLP革命​​：BERT、GPT、T5等模型横扫各类任务。
  • ​​跨界应用​​：Vision Transformer（ViT）在图像识别中超越CNN。
3. ​​未来方向​​：
  • ​​更高效的注意力机制​​：降低计算成本。
  • ​​多模态融合​​：同时处理文本、图像、语音（如CLIP、DALL-E）。

​​附：学习路线图​​

  1. 理解词嵌入和位置编码 → 2. 掌握自注意力计算 → 3. 拆解多头注意力 → 4. 研究残差与归一化 → 5. 动手实现小规模Transformer。
Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
iioSnail的博客
07-28 9万+
1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。
史上最小白之Transformer详解
Tink1995的博客
03-27 34万+
1.前言 博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下) 上篇博客地址：史上最小白之从Attention到Transformer详解(上) 在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。 2.Transformer 原理 2.1 Tr...
Transformer 模型详解
步入人工智能
05-29 31万+
本内容主要介绍 Transformer 模型的具体实现。
Vision Transformer详解
霹雳吧啦Wz
06-26 30万+
论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源码：https://github.com/google-research/vision_transformer Pytorch实现代码： pytorch_classification/vision_transformer 文章目录前言模型详解Vision
【超详细】【原理篇&实战篇】一文读懂Transformer
热门推荐
艰难困苦，玉汝于成。
11-02 45万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
Swin-Transformer网络结构详解
霹雳吧啦Wz
11-03 26万+
文章目录0 前言1 网络整体框架2 Patch Merging详解3 W-MSA详解Ω(MSA)\Omega (MSA)Ω(MSA)模块计算量Ω(W−MSA)\Omega (W-MSA)Ω(W−MSA)模块计算量4 SW-MSA详解5 Relative Position Bias详解6 模型详细配置参数 0 前言 Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。Swin Transformer网络是Tran
transformer
zhangxu
09-28 3869
transformer最早于2017年google机器翻译团队提出，也就是著名的 《Attention Is All You Need》，transformer完全取代了以往的RNN和CNN结构，改为由transformer堆叠的方式构建模型。 transformer在NLP领域首先取得了非常惊人的效果，随后DETR首次将transformer引入到了CV的目标检测任务重，随后VIT完全抛弃了CNN，改为完全由transformer实现基础的图像分类任务，之后transformer在CV领域的应用也变得一发
Transformer模型详解
人无远虑，必有近忧
01-19 2万+
transformer结构是google在2017年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。 由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的detr和可变形detr，分
一文读懂Transformer
盼小辉丶的博客
01-23 3万+
Transformer 的不仅推动了 NLP 的快速发展，也成为了许多先进模型的基础。以GPT、BERT、T5 等为代表的大语言模型，均基于 Transformer 架构。此外，Transformer 还被成功应用于计算机视觉领域、推荐系统等领域，为深度学习带来了前所未有的效率与表现。随着研究的深入，Transformer 架构正在不断优化和拓展，不仅提升了模型的性能，也让人工智能技术更贴近实际应用。
Transformer-transformer
09-13
由于给出的文件信息中【标题】、【描述】和【标签】均只包含“transformer”这一关键词，而【压缩包子文件的文件名称列表】则提供了具体的文件名，因此，我们可以围绕“transformer”这个关键词展开知识内容的生成。...
transformer-使用Pytorch实现Transformer-项目源码-附完整复现细节.zip
10-21
在深度学习领域，Transformer模型由于其出色的并行计算能力和对序列数据的处理能力，已经成为自然语言处理（NLP）和许多其他序列学习任务的重要工具。Transformer模型最早由Vaswani等人在2017年的论文中提出，并且...
swin transformer权重
08-11
"Swin Transformer权重"是指用于初始化或更新Swin Transformer模型参数的数值集合，这些权重通常由预训练模型提供，以便用户可以在自己的任务上快速获得良好性能。 Swin Transformer的核心思想是引入了类似于卷积...
高压开关柜局部放电信号分析系统
m0_61057267的博客
04-28 1663
这个项目是我在2025年实现的高压开关柜局部放电信号分析系统，目的是通过采集分析局部放电信号，判断设备的工作状态和潜在故障。系统包含从信号模拟生成、特征提取、到深度学习模型训练的全流程，最终可自动生成分析报告。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 3186
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
远光软件发布九天 AI 应用开发平台，加速企业研发效能跃升
YG_JT的博客
04-30 305
4月25日，远光软件在“2025珠海软件产业年会暨AI技术赋能行业发展交流会”上以虚拟直播方式发布了远光九天AI应用开发平台。
存算一体架构下的新型AI加速范式：从Samsung HBM-PIM看近内存计算趋势
最新发布
高效做AI，就上Aladdin! 同学们用得起的H卡算力平台。
05-01 759
存算一体不是简单的技术改良，而是对计算本质的重新思考。当HBM-PIM将能效边界推向10 TFLOPS/W，我们正站在架构革命的临界点。这场变革的终极目标，是让计算回归数据本源——‌在比特诞生的地方处理比特‌。本文实验数据基于Samsung Aquabolt-XL HBM-PIM实测，更多技术细节请参考ISSCC 2023论文《A 1ynm 16Gb 4.8TFLOPS/W HBM-PIM with Bank-Level Programmable AI Engines》。
花费7元训练自己的GPT 2模型
04-28 1189
在上一篇博客中，我介绍了用Tensorflow来重现GPT 1的模型和训练的过程。这次我打算用Pytorch来重现GPT 2的模型并从头进行训练。GPT 2的模型相比GPT 1的改进并不多，主要在以下方面：1. GPT 2把layer normalization放在每个decoder block的前面。2. 最终的decoder block之后额外添加了一个layer normalization。3. 残差层的参数初始化根据网络深度进行调节。
TransformER
02-28
TransformER是一个基于Transformer模型的实体关系抽取器。它是由CSDN开发的C知道团队开发的，旨在从文本中自动提取实体和它们之间的关系。 Transformer是一种基于自注意力机制的神经网络模型，它在自然语言处理任务中取得了很大的成功。TransformER利用Transformer模型的强大表达能力，能够对输入文本进行编码，并学习到实体之间的关系。 TransformER的工作流程如下： 1. 输入文本预处理：将输入文本进行分词、词性标注等预处理操作。 2. 实体识别：使用命名实体识别技术，识别出文本中的实体，如人名、地名、组织机构等。 3. 关系抽取：通过Transformer模型对输入文本进行编码，学习到实体之间的关系。 4. 输出结果：将抽取到的实体和关系进行整理和展示。 TransformER在许多实际应用中具有广泛的应用，如信息抽取、问答系统、知识图谱构建等。它能够帮助用户从大量文本中快速准确地提取出有用的信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值