Transformer架构分析

最新推荐文章于 2024-10-24 23:59:02 发布
最新推荐文章于 2024-10-24 23:59:02 发布
阅读量966 收藏 11
点赞数 27
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49448331/article/details/142630527
版权

1 encoder

每个称之为一个layer，重复N次
每个里面有两个sublayer；multi-head self-attention +MLP后面使用layer normalization LayerNorm(x + Sublayer(x))
残差连接需要两个维度一致，本文采用513。

2 decoder

3 注意力机制

输出维度和value维度一致
两个向量做内积，表示相似度

一 原文章阅读

二 动态视图

主要内容来自3Bule1Brown
相关blog
# GPT是什么？直观解释Transformer | 深度学习第5章 【3Blue1Brown 官方双语】
GPT—Generative Pre-trained Transformer

1 总体概览

预训练：

  • 模型经历了从大量数据中学习的过程

  • “预”暗示模型能针对具体任务，通过额外的训练进行微调
    Transformer

  • 一种神经网络模型
    Transformer

    |1125


    GPT–重复预测和抽样的过程
    数据在GPT中的流动过程
    |1125
    总体概览（输入与输出）：

  • 输入：输入内容被切分为许多小片段，称为Token

    • |500
    • 单词 单词片段
    • 图像 小块图片
    • 音频 一段声音
    • 每个Token对应一个向量，即一组数字；旨在设法编码该片段含义；如果将向量看做高维空间中的坐标，那么意思相近的词，对应的向量往往相近

  • 输出：

    • 对最后一个向量操作，得出所有Token的概率分布
2 背景知识

本视频花时间介绍一些重要的背景知识，这些知识对于机器学习工程师来说，都应该是基本常识。
机器学习采用数据驱动、反馈到模型参数、指导模型行为
机器学习理念：不要试图在代码中，明确定义如何执行一个任务，那是AI发展初期的做法；而是去构建一个具有可调参数的灵活架构，像是旋钮和滑块；然后通过大量的实例和数据，调整各种参数值
线性回归

|875

  • 首先，无论构建任何模型时，输入的格式必须是实数数组
  • 可以是一维数列、二维数组，或者更常见的高维数组，也就是所谓的张量（Tensor）
  • 深度学习中，模型的参数称为权重
  • 参数与待处理数据唯一的交互方式是通过加权和，模型中虽然有非线性函数，但他们不依赖于参数
  • 数学中加权和不会赤裸裸地写出来，而是打包成矩阵乘的形式，本质上是一样的
  • 概念上更直观的方式是将充满可调参数的矩阵想象成能够代表待处理数据的向量进行变换的工具
  • 例如GPT-3中1750亿个参数组成近28000个矩阵，矩阵又分为8类，需要逐一了解各个类别的作用
  • 权重是模型的大脑，是在训练过程中学习到的，决定模型的行为模式
1 嵌入矩阵


每个词对应一列
矩阵WE：就和其他矩阵一样，它的初始值随机，但将基于数据进行学习

为什么嵌入矩阵设置为可调参数

  1. 增加泛化能力：如果设置为固定的，就无法适应特定任务的需求，通过训练，embedding层可以学习到更适合当前任务的词向量表示。例如，在情感分析任务中，某些词汇的情感色彩可能会比它们的一般含义更重要，因此让embedding参数随着训练而调整可以帮助捕捉这种细微差别。
  2. 协同优化：在端到端的训练过程中，embedding层和其他层的参数是共同优化的。这意味着embedding层的学习可以受益于后续层的信息，反之亦然。固定embedding层将切断这种潜在的信息流，可能导致次优解
    为什么嵌入矩阵设置为随机值
  3. 避免局部最小值：找到最优解
  4. 加速收敛：一些研究表明，良好的初始化可以加速训练过程中的收敛速度。例如，He初始化、Xavier/Glorot初始化等方法，都是为了在一定程度上平衡权重矩阵的方差，从而帮助模型更快地学习
  5. 利用上下文信息：对于嵌入层而言，随机初始化允许模型从头开始学习词汇或其他单元的最佳表示，而不是依赖于任何预先存在的假设。这对于训练一个从零开始的新模型尤为重要。

  • 词嵌入
    从几何角度理解向量，并将他们视为高维空间的点

    	import gensim.downloader
	model=gensim.downloader.Load("glove-wiki-gigaword-50")
	model["tower"]

    其中，glove-wiki-gigaword-50基于2B条推文、27B个令牌、120万个未加套的vocab的预训练得到的向量。



    用空间中一个方向编码性别信息，更有优势

    • 点积
      • 代数上
        所有对应分量相乘然后加和
      • 几何
        • 向量的方向相近，则点积为正
        • 方向垂直，点积为0
        • 向量指向相反，点积为负
        • 举例：cats-cat表示可能表示空间中复数的方向，其与名称复数的点积数据值大于与名词单数的点积；这表示它们在方向上更加对齐
    • 词嵌入的具体方式也是从数据中学来的
    • 嵌入矩阵一列对应一个单词，是模型中的第一组权重
    • 一开始，每个向量都是从嵌入矩阵中拉出来，最开始每个向量只能编码单个单词的含义，没有上下文含义
    • embedding作用
      • 词表包含token数量：50257
      • 每个token维度：12288
  1. Attention 网络
    • 主要目标
      • 使向量获得比每个词更丰富更具体的含义
    • 上下文长度
      • 一次只能处理特定数量的向量，称为上下文长度
      • GPT3上下文长度为2048，流经网络的数据有2048列，每列12288维

      • 上下文长度限制Transformer预测下个词时，能结合的文本量
  2. 最终阶段的处理
    1. 目标输出：下一个可能Token的概率分布
    2. 过程
      2. 每一行对应词库中的一个token
      3. Softmax函数将其归一化为概率分布
      4. 为什么只用最后一个嵌入做预测
        1. 训练过程中效率更高的方法是利用最终层的每一个向量，同时对紧随者这个向量的词进行预测
2 解嵌入矩阵Wu
  2. 和其他权重矩阵一样，初始值随机，但在训练过程中学习；
  3. 他的每一行对应词汇库中的每一个词，每一列对应一个嵌入维度
  4. 与嵌入矩阵相似，只是行列对调

  5. transformer中嵌入矩阵和解嵌入矩阵是同一个矩阵吗
    在Transformer模型中，嵌入矩阵（embedding matrix）和解嵌入矩阵（通常称为投影矩阵或解码矩阵）并不一定是同一个矩阵。具体取决于模型的设计和实现方式。
  6. 嵌入矩阵：这是将输入的离散符号（如词汇索引）映射到连续向量空间的一个矩阵。每个词汇对应一个特定的行向量，这些行向量构成了嵌入矩阵。
  7. 解嵌入矩阵：在一些模型中，特别是在分类任务中，输出层可能会有一个额外的矩阵来将Transformer的最后一层的输出映射回原始词汇空间或其他标签空间。这个矩阵有时被称为投影矩阵或解码矩阵。
    在许多情况下，特别是在机器翻译任务中，输入词汇表和输出词汇表是相同的。这时，为了简化模型并共享参数，可以使用同一个矩阵作为嵌入矩阵和解嵌入矩阵。这种方法的一个好处是可以减少模型参数的数量，从而减少过拟合的风险，并且在实践中也被证明可以提高性能。
    在Transformer的原始论文中提到，对于机器翻译任务，如果输入和输出共享相同的词汇表，则可以在输出层使用与输入嵌入相同的权重矩阵。这意味着在训练过程中，这个矩阵既用于嵌入输入序列，又用于将最终的模型输出投影回词汇空间。这样做可以通过共享输入和输出之间的信息来进一步提升模型性能。
    然而，并不是所有的实现都会这样做。在一些任务中，输入和输出词汇表可能不同，或者即使相同，也可能选择不共享嵌入矩阵以避免潜在的问题。因此，是否使用同一个矩阵取决于具体的应用场景和设计选择。
  • Softmax函数
    • 基本想法
      • 若想将一串数字作为概率分布，比如所有可能得下一个词的概率分布，那么每一值必须介于0-1，并且总和为1
      • 给函数增加一些趣味性
      • 给指数加个分母，常量T，被称为温度
      • 当T较大时，会给低值赋予更多的权重，使得分布更均匀
      • T=0，所有权重给最大值
      • 术语 logits
小节
  • karate kid wax-on-wax-off式基础训练
3 Attention

  • 提问被编码为另一个向量，也就是另一组数字

  • Query矩阵：要计算查询向量，先取一个矩阵Wq，然后乘以嵌入向量

  • Wq内部数值是模型的参数，具体行为模式从数据中学得

  • 可以理解为将嵌入空间中某个方向映射为较小的查询空间的方向，用向量来编码“寻找前置形容词”的概念

  • 每个token算出一个查询向量

  • Q（Query）矩阵：查询矩阵代表了模型想要查询的信息。它是由输入序列的嵌入经过一个线性变换得到的。查询向量反映了输入序列中的每个位置想要获取的信息类型。

  • Key矩阵

  • K（Key）矩阵：键矩阵包含的是每个位置处的信息摘要，它同样由输入序列的嵌入经过另一个线性变换得到。键向量用于匹配查询向量，以确定哪些信息片段应该被关注。

  • 从概念上可以把Key视作想要回答的Query

  • Key矩阵也填满可调参数，类似Q矩阵，将嵌入向量映射到相同的低为维度空间

  • 当键和查询方向相对齐时，认为它们相匹配

  • 用点积表示相关量

  • 分数表示每个词与更新其他词的含义有多相关

  • 分数的用法就是对每一列加权求和，权重是相关性

  • 对每一列使用Softmax函数归一化，用归一化的值填入网络，里面的值称为Attention Pattern

  • 掩码：防止后面的token影响前面的token

  • 其大小等于上下文长度的平方

  • 值矩阵

  • V（Value）矩阵：值矩阵包含了实际的信息内容，它也是通过输入嵌入经过第三个线性变换获得的。一旦确定了哪些信息片段需要关注，值向量就会被用来构建最终的输出。

  • 值向量可以想象成与对应的Key向量相关联

  • key query value矩阵：三种填满了可调参数的矩阵

  • V矩阵：输入与输出都存在于高维的嵌入空间中

  • 如果按照下图的方式，参数太多了 1.5亿个参数

  • 更有效的方式是值矩阵需要的参数量等于键矩阵和查询矩阵的参数量之和

  • 将值矩阵分解为两个小矩阵相乘，整体视为线性映射

  • 右边：将较大的嵌入向量降维到较小的空间中

  • 左边：将较小的向量映射到较大的嵌入空间中

小节
4 多头注意力机制
  • 96个不同的键和查询矩阵，会产生96种不同的注意力模式，每个注意力头有独特的值矩阵
  • 通过并行多头运算，模型能学到根据上下文改变语义的多种方式
  • 多个结构不断迭代；某个词吸收上下文信息后，还有更多机会被周围含义细致的词语影响
  • 修饰，语法结构，情感、语气、诗意、科学原理
三 架构静态分析

词嵌入层可以看做是查找表，用于获得每个单词的向量表示
|500
|500
|425

乘法可能产生爆炸效果，通过开平方让得分缩放

|625
Softmax–较低的得分收到抑制，较高的得分得到增强。模型对于关注的词更有信息

一只积极向上的小咸鱼
关注
【Transformer】架构解析
三木今天学习了嘛の博客
10-17 7685
本博客详细介绍了Transformer框架，包括输入、编码器、解码器和输出。
Transformer架构与ChatGPT
Marty James的博客
12-15 2116
当构建作为ChatGPT的主力Transformer架构时，我们先从一些基本定义开始。
大模型Transformer架构详解
qianggezhishen的专栏
08-07 1907
Transformer最初是为了解决序列转换问题或神经机器翻译而开发的，这意味着它们旨在解决将输入序列转换为输出序列的任何任务。这就是为什么它们被称为“Transformer”。最初设计用于序列转换或神经机器翻译任务，Transformer模型在将输入序列转换为输出序列方面表现出色。它是首个完全依靠自注意力机制来计算其输入和输出的表示，而无需依赖于序列对齐的RNN或卷积网络的第一个转换模型。
WaveNet因果卷积和Transformer架构分析
D_Ddd0701的博客
06-05 2150
transformerWaveNet-卷积网络在NLP中的跨界应用何为因果卷积何为扩张卷积Transformer架构分析输入部分词嵌入层nn.Embedding位置编码positional encoding输出部分编码器部分Attention机制残差层掩码张量多头自注意力层解码器部分 WaveNet-卷积网络在NLP中的跨界应用 2017年Google提出《WaveNet: Google Assistant’s Voice Synthesizer》，这是一个基于一维卷积的时序处理算法，并且应用到了Googl
Transformer架构解析
FY_2018的博客
08-07 2584
1.输入部分包含: （1）源文本嵌入层及其位置编码器 （2）目标文本嵌入层及其位置编码器 文本嵌入层的作用 无论是源文本嵌入还是目标文本嵌入，都是为了将文本中词汇的数字表示转变为向量表示, 希望在这样的高维空间捕捉词汇间的关系. 位置编码器的作用 因为在Transformer的编码器结构中, 并没有针对词汇位置信息的处理，因此需要在Embedding层后加入位置编码器，将词汇位置不同可能会产生不同语义的信息加入到词嵌入张量中, 以弥补位置信息的缺失. 2.编码器部分： （1）掩码张.
深度解读大语言模型中的Transformer架构
qq_22232065的博客
07-25 1072
RNN 由于其递归的结构，在处理长序列时容易出现梯度消失和梯度爆炸的问题。同时，随着技术的进步和研究的深入，我们也期待 Transformer 能够更好地解决自然语言处理中的复杂问题，为人类社会带来更多的便利和价值。通过这些创新，Transformer 有效地解决了传统神经网络模型在处理自然语言时的梯度问题和并行计算难题，为自然语言处理领域带来了全新的突破和发展。在这些应用场景中，Transformer 凭借其强大的语言理解和生成能力，为自然语言处理领域带来了显著的提升，推动了相关技术的发展和应用。
【好书分享第十期】大模型应用解决方案_基于ChatGPT和GPT-4等Transformer架构的自然语言处理（文末送书）
热门推荐
屿小夏.的知识博客
05-22 3万+
在不到4 年的时间里，Transformer 模型以其强大的性能和创新的思想，迅速在NLP 社区崭露头角，打破了过去30 年的记录。BERT、T5 和GPT 等模型现在已成为计算机视觉、语音识别、翻译、蛋白质测序、编码等各个领域中新应用的基础构件。因此，斯坦福大学最近提出了“基础模型”这个术语，用于定义基于巨型预训练Transformer 的一系列大型语言模型。所有这些进步都归功于一些简单的想法。
AI - Transformer架构工作原理
Lizzy_Fly的博客
05-24 936
Transformer架构工作原理
Transformer架构详解
m0_63260018的博客
12-18 4017
Transformer是一种深度学习模型，最初是由Vaswani等人在2017年的论文《Attention Is All You Need》中提出的。这种模型在自然语言处理（NLP）领域特别流行，它引入了一种新的机制——自注意力（self-attention），使得模型能够更加高效和有效地处理序列数据。
Transformer架构
LIN2020LOVEDA的博客
08-11 848
Transformer架构
基于transformer架构的Python网络流量分析设计源码
09-30
该项目为基于transformer架构的网络流量分析设计的源码，包含27个文件，其中包括14个Python代码文件、6个日志文件、2个PNG图像文件、1个Git忽略文件、1个许可文件、1个项目说明文件以及1个Python字节码文件。...
BERT：Transformer架构的文本大师
07-27
### BERT：Transformer架构的文本大师 #### 一、Transformer架构概述 Transformer是一种基于自注意力机制的神经网络架构，自2017年由Vaswani等人在其论文《Attention Is All You Need》中首次提出以来，在自然语言...
课程设计的题目：Transformer架构分析及在NLP中应用 课程设计的主要内容： 1. Transformer结构 2. 位置编码与嵌入 3. 注意力机制 4. Transformer模型代码设计 5. Transformer 使用方法 6. NLP任务应用——中文翻译
06-18
课程设计的题目：Transformer架构分析及在NLP中的实战应用 主要内容包括： 1. **Transformer结构详解**：介绍Transformer的基本架构，包括自注意力层、多头注意力机制和前馈神经网络如何协同工作。 2. **位置编码...
【人工智能】LLM 大型语言模型和 Transformer 架构简介
AI天才研究院
05-24 2万+
然而，传统的机器学习模型，例如神经网络，并不能天生理解输入的顺序。通过将位置编码纳入 Transformer 架构，GPT 可以更有效地理解句子中单词的顺序，并生成语法正确且语义有意义的输出。但是，模型只能理解数字，不能理解文本，因此需要将这些输入转换为称为“输入嵌入”的数字格式。作为初创公司的首席技术官，我每天都在讨论这项革命性的技术，因为围绕它的持续不断的嗡嗡声和炒作。这篇博文将探讨 LLM（大型语言模型）和转换器架构的基本概念，转换器架构是所有带有转换器的语言模型的构建块，包括 GPT。
从0开始深度学习（19）——参数管理
立志成为炼丹师？
10-24 1280
w∼U510可能性140可能性12U−10−5可能性14U(5, 10) & \text{ 可能性 } \frac{1}{4} \\0 & \text{ 可能性 } \frac{1}{2} \\U(-10, -5) & \text{ 可能性 } \frac{1}{4}w∼⎩⎨⎧​U5100U−10−5​可能性41​可能性21​可能性41​​​​w从均匀分布U510中取值。
基于深度学习的音乐生成与风格转换
最新发布
weixin_42605076的博客
10-24 1167
音乐风格通常由节奏、和声、旋律、乐器编制、音色等要素决定。风格转换的核心在于保持音乐作品的核心旋律、节奏或主题不变的前提下，调整其和声、伴奏模式或音色以适应目标风格。基于深度学习的音乐生成与风格转换技术具有广泛的应用潜力，不仅能够自动创作出新颖的音乐作品，还可以实现不同风格之间的无缝转换。随着模型性能的不断提升和应用场景的扩展，这一领域将在未来为音乐创作、娱乐和教育等领域带来更多的创新与变革。
ADAMG——深度学习无参数优化的新时代
知来者逆的博客
10-24 673
黄金步长的引入是为了在保持 AdaGrad-Norm 收敛性能的同时，接近预期的最佳步长。这种步长与具体问题的特征无关，有望在各种训练条件下促进一致有效的收敛（见图 1）。ADAMG 是一种基于 AdaGrad-Norm 的无参数优化算法，它使用黄金步长为各种优化任务自动提供最佳学习率。实验结果表明，与传统优化方法相比，ADAMG 具有更高的稳定性和效率。特别是在计算资源有限或处理大型数据集的情况下，该算法可以有效地保持高性能，同时减少人工调整的工作量。
【进阶OpenCV】 （21） --卷积神经网络实现人脸检测
m0_74896766的博客
10-21 765
本篇介绍了如何通过使用dlib库中的卷积神经网络（CNN）人脸检测模型来检测一张图片中的人脸。 注意！！：为例减少模型的计算，使用加载的CNN人脸检测模型对图片进行人脸检测时，上采样次数可以少一点。
从0开始深度学习（20）——延后初始化和自定义层
立志成为炼丹师？
10-24 504
我们构造一个没有任何参数的自定义层，下面的CenteredLayer类要从其输入中减去均值。要构建它，我们只需继承基础层类并实现前向传播功能。传入一些数据进行验证现在，我们可以将层作为组件合并到更复杂的模型中。作为额外的健全性检查，我们可以在向该网络发送随机数据后，检查均值是否为0。由于我们处理的是浮点数，因为存储精度的原因，我们仍然可能会看到一个非常小的非零数。Y.mean()
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值