Transformer学习笔记——第一天

已于 2025-02-14 01:55:45 修改
阅读量1.3k 收藏 21
点赞数 31
分类专栏： Transformer 教程 文章标签： transformer 学习 笔记 人工智能
于 2025-02-10 22:05:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43561382/article/details/145558366
版权

transformer学习笔记

文章目录

Task01 引言

Seq2Seq模型概述

Seq2Seq模型是出入一个序列，输出一个序列。这种结构的输入序列和输出序列的长度是可变的。

image-20250210215809976

处理可变长度的序列时，使用Bos和Eos可以减少对填充的依赖，因为模型可以根据这些标识来识别序列的边界。

Seq2Seq模型在概念上还与通信原理有一定的相似性。都是先将信息编码为一个latent，再解码这个latent。

Seq2Seq的由来

在Seq2Seq出现之前，深度神经网络(DNN)擅长处理的固定长度的向量，如果长度变化的话，就会使用padding等操作，其目的是将序列数据转换为固定长度的格式，以便于输入到需要固定长度输入的神经网络中。

Padding操作在计算损失的时候需要特殊的操作忽略这些补零的元素，以免影响模型的训练效果。这通常使用Mask来实现。Mask可以指示哪些位置是补零的，以便在计算过程中忽略这些位置。

但是对于一些重要的问题，例如机器翻译、语音识别、对话系统等，我们事先不知道序列的长度，因为Seq2Seq应运而生。

Seq2Seq模型的评价
优势
  • 端到端学习： 该模型实现了从原始输入数据到期望输出序列的直接映射。
  • 处理可变长度序列
  • 信息压缩和标识：先通过Encoder编码将输入序列压缩为一个固定维度的上下文向量，再通过Decoder基于这个上下文向量进行解码操作以生成目标输出序列。
  • 可扩展性：该模型具有良好的模块化特性。
缺点
  • 上下文向量信息压缩：可能导致信息压缩和信息损失的问题，尤其是细颗粒细节的丢失
  • 短期记忆限制：由于RNN的固有特性，该模型难以有效捕获和传递长期依赖性
  • Exposure Bias：该模型在训练的时候，经常采用"teacher forcing"策略，即在每个时间步提供真实的输出作为解码器的输入。这会导致模型在测试时可能无法很好地适应其自身的错误输出。

Encoder-Decoder 模型

Seq2Seq和Encoder-Decoder的关系
  • Seq2Seq模型强调目的：不特指具体方法，而是以满足“输入序列、输出序列”的目的。
  • Encoder-Decoder模型强调方法
Encoder-Decoder的工作流程
Encoder

Encoder是一个RNN，由多个循环单元（LSTM或GRU）堆叠而成。每个单元通过以此处理序列中的一个元素生成一个上下文向量。这个上下文向量包含了输入序列的全部信息。

工作流程：

  1. 词序列转换：输入文本通过embedding layer进行转换，将词映射到一个高维空间中的稠密向量。（word embedding）
  2. 序列处理：这些经过嵌入的向量序列被送到RNN结构中去处理。
  3. 生成上下文向量：生成context vector。
Decoder

解码器是接受Encoder输出的上下文向量并将其作为初始输入，并依次合成目标序列的各个元素。

工作流程：

  1. 初始化参数

  2. 编码器输出

    1. 输入序列处理
    2. 隐藏状态更新
    3. 上下文向量生成：编码器的最后一个隐藏状态被用作上下文向量。这个向量是源序列的压缩表示，包含序列的全部或关键信息。

  3. 解码器的输入

    编码器在生成上下文向量后，解码器开始目标序列的合成过程。

    1. 初始隐藏状态
    2. 开始符号： 解码器需要一个触发信号来启动序列的生成，这一信号通常由特定的开始符号表示。
    3. 输入序列：解码器的输入是上一个时间步的输出
    4. 上下文向量：在每个时间步，解码器可能都会接收到一个上下文向量，它包含了整个源序列的信息。
    5. Attention Weights
Seq2Seq模型的训练过程
  1. 准备数据
    1. 数据预处理
    2. 批量处理
  2. 初始化模型参数
    1. 解码器RNN
    2. 输出层
  3. 编码器处理
  4. 解码器训练过程
    1. 初始化隐藏状态
    2. 时间步迭代
      1. 输入
      2. 解码器RNN
      3. 输出层
      4. 损失计算
  5. 反向传播和参数更新
    1. 计算梯度
    2. 参数更新
  6. 循环训练
    1. 多个epoch
  7. 评估和调优
    1. 验证集评估
    2. 超参数调优

通过这个过程，学生（解码器）学会了如何根据你提供的笔记（上下文向量）来复述故事（生成目标序列）。在实际训练中，教师强制（Teacher Forcing）等技巧可以帮助学生更快地学习，而梯度裁剪（Gradient Clipping）等技术可以防止他们在学习过程中过度自信或偏离正确的路径。

image-20250210220221968

Encoder-Decoder的应用
  • 文字-文字
  • 音频-文字
  • 图片-文字
Encoder-Decoder的缺陷

当信息输入太长的时候，会丢失一些信息。

Attention

Attention的发展历程

image-20250210220312525

Attention的 N N N中类型

从计算区域、所用信息、使用模型、权重计算方式和模型结构方面对Attention的形式进行归类。

image-20250210215854460

Attention解决信息丢失问题

Attention模型的特定是Encoder不再将整个输入序列编码为固定长度向量C，而是编码为一个向量序列。

image-20250210215902559

Attention的优点
  • 参数少
  • 速度快
  • 效果好
Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT
结构之法 算法之道
10-23 11万+
我在写上一篇博客《》时，有读者在文章下面评论道：“july大神，请问BERT的通俗理解还做吗？”，我当时给他发了张俊林老师的BERT文章，所以没太在意。直到今天早上，刷到CSDN上一篇讲BERT的文章，号称一文读懂，我读下来之后，假定我是初学者，读不懂。（这是），再比如国内张俊林老师的这篇《》，然后你会发现几乎网上关于Transformer/BERT的文章无外乎是以下这几种情况。
Vision Transformer学习笔记
weixin_44074191的博客
10-25 2214
本博客记录我学习vision Transformer这篇文章的过程，旨在记录整合各大网页资料，方便日后查看。
【AI绘图学习笔记】transformer
milu_ELK的博客
04-09 1787
让我们来总结一下transformer的整个结构。首先transformer用于解决seq2seq的问题，seq2seq可以让机器自行决定输出的seq的长度，因此会表现出一些特殊的性质，尤其是当我们对seq2seq的model进行硬train的时候，机器竟然也能做到较好的效果。transformer的整个结构就是input→Encoder→Decoder→output→Decoder→endinput→En。
Transformer详解+Transformer李沫视频笔记
qq_55736201的博客
11-11 885
为什么除以根号dk：dk小的时候除不除都无所谓，大的时候会导致点积后矩阵中的值差距比较大，然后通过softmax函数，接近一的值就会更加接近1，其余会更加接近0，值向两端靠拢，梯度变小，跑不动（softmax函数会使大的更大小的更小，如果值向两端靠拢非常接近0和1了，那么相当于网络收敛了，梯度就变小了）预测时候需要利用训练时候batch的均值和方差来计算预测时候的均值和方差，假如碰到特别长的样本，那么之前算的均值和方差就不好用了，所以在变长的应用中不使用batchnorm。
Apollo星火计划学习笔记——第六讲上自动驾驶感知基础（I）
sinat_52032317的博客
12-11 3651
激光雷达（LiDAR）通过不断向外发射激光束，并接收物体反射回的光脉冲，根据光速计算出信号之间的时间差或相位差来确定车与物体之间的相对距离。激光雷达是主动式的感知。激光雷达的数据结构(X,Y,Z,I)(X,Y,Z,I)(X,Y,Z,I)按扫描方式1.旋转式激光雷达2.固态激光雷达FlsahOPA3.混合式激光雷达转镜振镜MEMES按工作原理三角测量法飞行时间（ToF）调频连续波（FMCW）光源905nm。
论文阅读笔记 | Transformer系列——DeiT
Clichong
10-23 1011
如有错误，恳请指出。 文章目录1. Introduction2. Related work3. Distillation through attention3.1 Soft distillation3.2 Hard-label distillation3.3 Distillation token3.4 Fine-tuning with distillation3.5 Joint classifiers4. Result paper：Training data-efficient image transf.
Transformer学习理解
u012374012的专栏
06-20 1474
本文介绍当下人工智能领域的基石与核心结构模型——Transformer，为什么说它是基石，因为以ChatGPT为代表的聊 天机器人以及各种有望通向AGI（通用人工智能）的道路上均在采用的Transformer。Transformer也是当下NLP任务的底座，包括后续的BERT和GPT，都是Transformer架构，BERT主要由Transformer的 encoder构成，GPT则主要是decoder构成。
transformers学习笔记——初级篇
General_zy的博客
02-09 856
Transformers 是由 Hugging Face 开发的一个 NLP 包，支持加载目前绝大部分的预训练模型。随着 BERT、GPT 等大规模语言模型的兴起，越来越多的公司和研究者采用 Transformers 库来构建 NLP 应用。我们可以使用 Transformers 库提供的 API 轻松下载和训练最先进的预训练模型。使用预训练模型可以降低计算成本，以及节省从头开始训练模型的时间。文本：文本分类、信息抽取、问答系统、文本摘要、机器翻译和文本生成。图像：图像分类、目标检测和图像分割。
深度学习笔记之Transformer(四)铺垫：层标准化(Layer Normalization)
静静的学习就好
07-04 2868
在介绍Transformer模型架构之前，首先介绍Transformer的核心架构之一：层标准化(Layer Normalization)。
大语言模型生成式AI学习笔记——1. 1.1 大语言模型及生成式AI项目生命周期简介——​​​​​​​课程简介
预见未来to50的专栏
04-19 859
欢迎来到这门关于生成式AI和大型语言模型的课程。大型语言模型或LLMs是一项非常令人兴奋的技术。但尽管围绕它的热议和炒作不断，很多人仍然低估了它们作为开发者的强大能力。具体来说，许多过去需要我花费数月时间构建的机器学习和AI应用，现在你可以在短时间内构建出来，可能只需几天或者几周的时间。这门课程将带你深入了解LLM技术的实际运作方式，包括许多技术细节，如模型训练、指令调整、微调，以及生成式AI项目生命周期框架，帮助你规划和执行你的项目等等。生成式AI和LLMs特别是一种通用技术。
论文阅读6——VIT：Vision Transformer（包括ViT代码复现）
2403_87584552的博客
10-16 2990
虽然Transformer架构已成为自然语言处理任务的事实标准，但其在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合应用，要么用于替换卷积网络的某些组件，同时保持其整体结构。我们表明，这种对CNN的依赖是没有必要的，并且直接应用于图像补丁序列的纯Transformer可以在图像分类任务中表现得非常好。
AI笔记——浅谈发展历程
bqiuer的博客
08-25 941
AI笔记
RT-2(robotics-transformer2)论文翻译——2
weixin_61255639的博客
08-27 869
谷歌RT-2的论文翻译
3W 学习法：从零上手 Cursor，打造高效 Java 开发体验
最新发布
工一木子
03-26 554
Cursor 可以大幅提升 Java 和 Spring 生态的开发效率，帮助你更快写代码、更好理解源码、更快修复 Bug。Cursor 是一款智能 AI 编程助手，能够显著提升开发效率，特别适用于 Java 和 Spring 生态。Cursor 是一款基于 AI 的编程工具，深度集成 AI 代码补全、代码解释、调试优化等功能，可以。：你想快速编写一个 RESTful API，Cursor 会自动补全代码。：你的代码结构复杂，Cursor 可以优化代码。，帮助你快速掌握 Cursor，并提供。
从零开始学习 Go 语言
九班长的博客
03-22 596
它以其简洁的语法、高效的并发支持和强大的标准库而闻名，非常适合开发高性能的服务器端应用、分布式系统和云计算工具。通过本文的学习，你可以掌握 Go 语言的基础语法、核心概念和开发工具，并能够使用 Go 语言开发实际项目。Go 语言以其简洁、高效和并发支持，成为现代软件开发的重要工具。通过本文的学习，你可以掌握 Go 语言的基础语法、核心概念和开发工具，并能够使用 Go 语言开发实际项目。无缓冲 Channel 的发送和接收操作是同步的，而有缓冲 Channel 的发送和接收操作是异步的。
学习单片机需要多长时间才能进行简单的项目开发？
无际单片机编程
03-17 2794
所以，学单片机多久能做简单项目？没个固定答案，但给你个大概：每天2-3小时，认真学加多练，51单片机1-2个月，STM32得3-6个月都有，看复杂度。所以，如果你每天能挤出2-3小时，认真学C语言、看点基础教程，差不多2-3个星期，就能从“啥也不会”到“有点感觉”。再看STM32，ARM Cortex-M内核，功能多，时钟树、中断向量、DMA一堆概念砸过来，学起来像开坦克，没点耐心真不行。我第一个STM32项目是做太阳能控制器，外设卡了3,4周，功能也挺多，一个月才能摸到门道，整个项目做了3,4个月。
对象克隆以及BigInteger（）方法，与BigDecima（）方法的学习
2303_76627649的博客
03-23 195
先变成二进制的补码，再以32位为一组，再转换成十进制，正负号通过一个变量去表示，1表示正数，-1表示负数，放入数组当中。1.通过传递double类型的小数来创建对象是不精确的，不建议使用。2.通过传递字符串表示的小数来创建对象。这表示这是一个二进制的100。3.通过静态方法获取对象。
CUDA 学习(4)——CUDA 编程模型
哦豁灬
03-23 840
在现在的计算机体系架构中，要完成 CUDA 并行计算，单靠 GPU 一人之力是不能完成计算任务的，必须借助 CPU 来协同配合完成一次高性能的并行计算任务。一般而言，并行部分在 GPU 上运行，串行部分在 CPU 运行，这就是。异构计算的意思就是不同体系结构的处理器相互协作完成计算任务。CPU 负责总体的程序流程，GPU 负责具体的计算任务，当 GPU 各个线程完成计算任务后，将 GPU 那边计算得到的结果拷贝到 CPU 端，完成一次计算任务。
【Javaweb】b站黑马视频学习笔记(导览)
Tom299的博客
03-24 305
MySQL，java，mybatis、maven、spring boot、tomcat
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值