认识Transformer：入门知识

最新推荐文章于 2024-12-25 16:36:07 发布
最新推荐文章于 2024-12-25 16:36:07 发布
阅读量1.5k 收藏
点赞数
分类专栏： Transformer 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NGUever15/article/details/132279424
版权

视频链接：
https://www.youtube.com/watch?v=ugWDIIOHtPA&list=PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index=60

文章目录

Seq2Seq

RNN不容易被平行化
提出用CNN来代替RNN，CNN 可以平行化，但是需要的层数比较深，才能看完所有的输入内容。

Self-Attention layer

在这里插入图片描述
b1 到b4 是可以同时被算出。
可以用来取代RNN。

来源： Attention is all you need

在这里插入图片描述
然后用每一个a 去对每个k 做attention

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
加速的矩阵乘法过程
在这里插入图片描述

Multi-head self-attention

不同的head 可以关注不同的内容，达到一个更好的注意力效果。
在这里插入图片描述

Positional encoding

self-attention 没有考虑位置信息。
因此需要再ai的同时加ei，表示位置信息，有人工控制。

在这里插入图片描述

Seq2Seq with Attention

在这里插入图片描述

Transformer

在这里插入图片描述

在这里插入图片描述

Universal Transformer

在这里插入图片描述

Diffusion Models专栏文章汇总：入门与实战
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
自然语言处理基础知识入门(四) Transformer模型的positional encoding位置编码详解
WANGYANG的博客
05-05 1863
提示：本章节旨在补充和扩展自然语言处理基础知识入门(四)中关于Transformer模型的位置编码（positional encoding）的讨论，提供更深入的解析以助于对该概念的整体理解。参考了这两篇博文Vaswani等人推出了Transformer架构，这是一款创新的、基于纯注意力机制的序列到序列架构。其出色的并行训练能力与性能提升，使其迅速在自然语言处理（NLP）领域以及最新的计算机视觉（CV）研究中获得了广泛的认可和应用。
Transformer入门基础知识
2401_82469710的博客
04-29 902
Transformer是一种面向机器翻译领域的Seq2Seq 编码器-解码器模型，即输入是一种语言，输出是另一种语言。本文将介绍一下Transformer入门的一些必备知识。
CNN+Transformer：深度学习的创新融合，性能炸裂！
zhishi0000的博客
10-05 968
的全局上下文理解能力，这一研究趋势在图像处理和自然语言处理等多个领域展现出了巨大的潜力。它。通过这种结构的结合，研究人员能够开发出更高效、更精确的模型，以应对传统单一网络结构难以解决的复杂挑战。这一领域的研究为了帮助研究人员深入理解中该领域的论文。这些论文涵盖了最新的研究成果，并且我们提供了论文的来源链接和相关代码，以期激发新的学术灵感。
解码Transformer：自注意力机制与编解码器机制详述与代码实现
zhishi0000的博客
08-11 1274
Transformer自从被引入以来，已经深刻改变了自然语言处理和许多其他序列处理任务的面貌。通过其独特的自注意力机制，Transformer克服了以前模型的许多局限性，实现了更高的并行化和更灵活的依赖捕获。出现背景：了解了Transformer是如何从RNN和CNN的限制中诞生的，以及它是如何通过自注意力机制来处理序列的。自注意力机制：详细解释了自注意力机制的计算过程，以及如何允许模型在不同位置之间建立依赖关系。Transformer的结构。
一文看懂 Transformer！超级详解，小白入门必看！
2401_85373898的博客
09-15 6671
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
深入解析Transformer：大模型核心技术揭秘
fengbeely的博客
06-22 1221
在大模型发展历程中，有两个比较重要点：第一，Transformer 架构。它是模型的底座，但 Transformer 不等于大模型，但大模型的架构可以基于 Transformer；第二，GPT。严格意义上讲，GPT 可能不算是一个模型，更像是一种预训练范式，它本身模型架构是基于 Transformer，但 GPT 引入了“预测下一个词”的任务，即不断通过前文内容预测下一个词。之后，在大量的数据上进行学习才达到大模型的效果。
AI大模型应用入门实战与进阶： Transformer模型解析
2401_84495872的博客
06-22 748
在2010年代，NLP任务的主要方法是基于RNN和LSTM的序列模型，如Seq2Seq、GRU等。这些模型在处理长序列和长距离依赖关系方面存在局限性，并且难以并行化。为了解决这些问题，Vaswani等人提出了Transformer模型，这是一种完全基于注意力机制的模型，可以更好地处理长序列和长距离依赖关系，并且具有更高的并行性。
Transformer系列：快速通俗理解Transformer的位置编码
2401_84494441的博客
06-16 1371
将[我，爱，你]输入一组Q，K，V组成的Self-Attention产出的向量，和[你，爱，我] 输入同一组Q，K，V组成的Self-Attention产出的向量，两者的结果每个词/字的embedding输出一致，仅仅是在矩阵的位置调换了一下（1和3对调）。设置max_len为每个句子的最大长度为50，d_emb为每个词的embedding的维度为256，最终得到一个[50, 256]的位置编码矩阵，每一行代表一个位置的位置编码结果，每一列代表某个词在某个位置编码分量上的值。
自然语言处理基础知识入门(四) Transformer模型整体最详解（self- attention机制，mask机制）
WANGYANG的博客
05-11 1053
在前面的章节中，详细讨论了循环神经网络（RNN）及其衍生模型，经过对RNN的不断改良，它们现在已经具备了长期记忆的能力，这无疑是语言模型领域的一项重大突破。然而，现在的多模态技术以及GPT的出现，绝大多数都选择了基于Transformer的架构，这是为何呢？本章节将围绕这个问题展开，将深入讲解自注意力机制，揭示这个如今在整个自然语言处理领域产生了深远影响的技术的精髓。这将为读者理解后续的BERT模型、GPT技术，以及多模态技术如CLIP等内容奠定坚实的基础。
初识PyTorch：入门指南和基础概念解析
# 1. PyTorch简介 ## 1.1 什么是PyTorch 在这个章节中，我们将介绍PyTorch这一深度学习框架。PyTorch是由Facebook开发的深度学习框架，它提供了可扩展性和灵活性，使得在构建深度学习模型时更加简单和直观。...
【LangChain编程：从入门到实践】LangChain核心概念和模块
AI天才研究院
07-07 990
【LangChain编程：从入门到实践】LangChain核心概念和模块 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM
深度学习中的残差网络、加权残差连接（WRC）与跨阶段部分连接（CSP）详解
千天夜的博客
12-24 1211
本文介绍了残差网络（ResNet）加权残差连接（WRC）和跨阶段部分连接（CSP）这三种网络架构，它们通过不同的方式提升了深度网络的训练效率、表达能力和计算效率。ResNet通过残差连接解决了深层网络训练中的梯度消失问题，使得深层网络的训练变得更加稳定。WRC通过引入可学习的加权机制，使得残差连接可以更灵活地调整输入和输出的贡献，从而提高了网络的表达能力。CSP通过跨阶段的部分连接，减少了冗余的信息传递和计算开销，提高了网络的效率。
NNDL 作业11 LSTM
Snow1230_的博客
12-25 469
此问题我是看的视频学习的，参考链接：【【重温经典】大白话讲解LSTM长短期记忆网络 如何缓解梯度消失，手把手公式推导反向传播】https://www.bilibili.com/video/BV1qM4y1M7Nv?【【重温经典】大白话讲解LSTM长短期记忆网络 如何缓解梯度消失，手把手公式推导反向传播】https://www.bilibili.com/video/BV1qM4y1M7Nv?的连乘项，从这可以看出，LSTM能缓解梯度消失，梯度爆炸只是不易发生。中参数的梯度， 并分析其避免梯度消失的效果。
深度学习blog-卷积神经网络（CNN）
qq_37481709的博客
12-25 895
*卷积层（Convolutional Layer）：**使用多个卷积核（滤波器）对输入数据进行卷积操作，提取特征。该层的输出是特征图，显示了输入数据中的特征。卷积操作是通过一个小的滤波器（或卷积核）在输入图像上滑动来计算的，每次滑动时，卷积核与局部区域的像素值做点积运算，并输出一个新的值。**池化层（Pooling Layer）：**对特征图进行下采样，通常使用最大池化或平均池化，减少特征的尺寸，降低计算复杂度，同时保留重要特征。**卷积操作：**通过卷积核与输入图像的局部区域进行点积，生成特征图。
深度学习中常见的权重初始化方法
qq_43556680的博客
12-24 972
今天给大家分享常见的 7 种权重初始化方法初始化深度学习模型的权重是影响模型训练速度、稳定性以及最终性能的重要因素。以下是常见的 7 种权重初始化方法，每种方法都有其适用的场景和特性。
机器学习和深度学习中的种子设置
最新发布
gqrblnp的博客
12-25 869
机器学习和深度学习中的种子设置
VMD-SSA-BiLSTM、VMD-BiLSTM、BiLSTM时间序列预测对比
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
12-24 1154
VMD-SSA-BiLSTM、VMD-BiLSTM、BiLSTM时间序列预测对比
回归预测 | MATLAB实现CNN-LSSVM卷积神经网络结合最小二乘支持向量机多输入单输出回归预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
12-24 1183
回归预测 | MATLAB实现CNN-LSSVM卷积神经网络结合最小二乘支持向量机多输入单输出回归预测
一分钟入门Transformer：简化版多输出回归预测
在这个一分钟搞定丐版Transformer的教程中，我们将深入理解Transformer模型在自然语言处理（NLP）中的应用，尤其是多输出回归预测这一场景。Transformer模型由Vaswani等人在2017年提出，它引入了自注意力机制，极大...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_Summer tree

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>