【代码片段】理解[自回归]注意力

于 2024-08-19 00:00:00 发布
阅读量163 收藏 3
点赞数 3
分类专栏： 【代码片段-研读代码】 文章标签： 人工智能 深度学习 gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43154149/article/details/141307486
版权

文章目录

视频from： https://www.youtube.com/watch?v=kCc8FmEb1nY
code from： https://colab.research.google.com/drive/1JMLa53HDuA-i7ZBmqV7ZnA3c_fvtXnx-?usp=sharing#scrollTo=tukiH-NbRBhA

理解 [因果] 自注意力

00:47:11 the trick in self-attention: matrix multiply as weighted aggregation

循环实现：

在这里插入图片描述

矩阵实现，快【理解这一段的意义，a相当于wei权值，根据数据确定】

先来看矩阵乘法

在这里插入图片描述

自回归，生成掩码 方式

a79172c437f22.png)

标准化 a，实现了 前1，2，3,… K个元素 做均值
在这里插入图片描述

验证结果

在这里插入图片描述

use Softmax

在这里插入图片描述

Softmax 之后，变回来了
在这里插入图片描述

文章目录

[因果]自注意力模块

00:58:26 minor code cleanup

在这里插入图片描述
在这里插入图片描述

注意力关键点笔记：
在这里插入图片描述

不想那么 one-hot
在这里插入图片描述

完整单头注意力代码

self.register_buffer('tril', torch.tril(torch.ones(block_size, block_size))) 将变量注册到缓存区，更快，
访问：self.tril

在这里插入图片描述

接深度学习联系丝信
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【NLP】Transformer—用注意力机制改进自然语言处理
sikh_0529的博客
09-24 9820
在上一章中，我们通过情感分析项目了解了() 及其在(然而，最近出现了一种新的架构，该架构已被证明优于多个 NLP 任务中基于 RNN 的() 模型。这就是所谓的架构。变形金刚已经彻底改变了自然语言处理，并处于许多令人印象深刻的应用程序的前沿，包括自动语言翻译 () 和建模基础蛋白质序列 () 的特性来创建帮助人们编写代码的 AI (）。在本章中，您将了解注意力和自注意力的基本机制，并了解它们是如何在原始转换器架构中使用的。
【动手学深度学习】(task1&2&3)注意力机制剖析
发现问题，并解决问题，批判性思维
03-20 2329
自注意力和位置编码 - 在自注意力中，查询、键和值都来自同一组输入。 - 卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。但是因为其计算复杂度是关于序列长度的二次方，所以在很长的序列中计算会非常慢。 - 为了使用序列的顺序信息，可以通过在输入表示中添加位置编码，来注入绝对的或相对的位置信息。 ## 6.1 比较卷积神经网络、循环神经网络和自注意力 给定一个由词元组成的输入序列$\mathbf{x}_1, \ldots, \mathbf{x}_n$，其中任意$\mathbf{x}_
入门 | 什么是自注意力机制？
热门推荐
机器学习算法与Python学习
08-24 1万+
来源 ： 机器之心， 禁止二次转载注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据...
【Transformers】第 4 章：自回归和其他语言模型
sikh_0529的博客
11-03 3176
自动编码语言模型”中查看了自动() 语言模型的详细信息，并研究了如何从头开始训练 AE 语言模型。在当前章节中，您将看到() 语言模型的理论细节，并学习如何在您自己的语料库上对它们进行预训练。您将学习如何在您自己的文本上预训练任何语言模型，例如()，并将其用于各种任务，例如()。您将了解 A 的基础知识() 模型并在您自己的() 数据上训练(完成本章后，您将大致了解 AR 语言模型及其在应用程序中的各种用例，例如摘要、释义和机器翻译。技术要求使用 AR 语言模型变压器架构。
注意力就是你所需的一切 - Transformer 最全详细解读
晨的博客
03-08 1721
Transformer 模型自2017年由Vaswani等人在论文《Attention is All You Need》中提出以来，已经彻底改变了序列处理任务，尤其是在自然语言处理（NLP）领域。这个模型背后的核心思想是“自注意力机制”，它允许模型在处理序列数据时，同时关注序列中的所有位置，这与以往的循环神经网络（RNN）和卷积神经网络（CNN）形成对比，后者通常会按顺序或局部地处理信息。本文详细介绍了Transformer的全部流程，并对关键问题进行解读。
第十三章 Transformer注意力机制
ADICDFHL的博客
06-25 927
主导的序列转换模型基于包含编码器和解码器的复杂递归或卷积神经网络。表现最好的模型还通过注意机制将编码器和解码器连接起来。我们提出了一种新的简单网络架构——Transformer，仅基于注意机制，完全放弃了递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量方面更优秀，同时更具并行性，需要的训练时间显著减少。在WMT 2014英德翻译任务中，我们的模型达到了28.4 BLEU分数，比现有最佳结果（包括集合模型）高出2 BLEU分数。
深度探索：机器学习中的键值对注意力（Key-Value Attention）原理及应用
qq_51320133的博客
05-02 1430
键值对注意力机制作为一种高效的序列数据处理方式，以其强大的表达能力和灵活的上下文选择能力，在自然语言处理、计算机视觉、推荐系统等多个领域展现了卓越的性能。通过与现有技术如RNN、自注意力以及CNN的对比，我们不难发现，键值对注意力机制不仅克服了传统方法的局限，还在特定任务上实现了性能上的飞跃。 未来，随着对注意力机制更深入的研究，我们可以期待以下几个方面的进展：
XLNet：广义自回归预训练语言模型 2019 NIPS
u013602059的专栏
07-13 1156
论文链接：https://arxiv.org/pdf/1906.08237v1.pdf 代码链接：https://github.com/zihangdai/xlnet 导读 今天学习的是谷歌大脑的同学和 CMU 的同学的论文《XLNet: Generalized Autoregressive Pretraining for Language Understanding》，于 2019 年发表于 NIPS，目前引用超 300 次。 XLNet 是一个广义自回归预语言模型，它在 Transformer-XL .
图深度学习入门教程（六）——注意力机制与图注意力
weixin_43672348的博客
04-20 8472
深度学习还没学完，怎么图深度学习又来了？别怕，这里有份系统教程，可以将0基础的你直接送到图深度学习。还会定期更新哦。
Python_MiniGPT4和MiniGPTv2的开源代码.zip
05-24
1. **Transformer架构**：GPT系列模型基于Transformer架构，这是一种自注意力机制，可以处理输入序列中的全局依赖关系。 2. **预训练与微调**：GPT模型首先在大规模无标注文本数据上进行预训练，然后在特定任务上...
Oracle SQL高级编程(资深Oracle专家力作，OakTable团队推荐)--随书源代码
02-04
CruiseYoung提供的带有详细书签的电子书籍目录 ... 该资料是《Oracle SQL高级编程》的源代码 对应的书籍资料见: Oracle SQL高级编程(资深Oracle专家力作，OakTable团队... 15.4 回归测试 422 15.5 模式修改 422 15.6...
群智能优化算法和模态分解算法在基于深度学习模型时间序列预测中的运用（matlab代码实现）
04-03
在LSTM中加入注意力机制，可以使模型更加关注于序列中的重要片段，从而提高预测质量。 ### 实际案例分析 文章中提到的一些具体案例包括： - **基于VMD-RIME-LSTM的时间序列预测模型**：这里利用VMD将时间序列分解...
掌握Turing完成任务的XLNet模型.md
08-18
XLNet通过引入双流注意力机制，结合了自回归和因果推断的优点，使得模型能够同时处理词语的自回归关系以及因果关系。这种设计不仅提高了模型对文本上下文的理解能力，也为后续的自然语言处理任务提供了更强的基础。 ...
大型语言模型的用途是什么（英文介绍）
08-31
Transformer架构是大语言模型的核心，它革新了序列建模的方式，通过自注意力机制让模型能够同时考虑整个输入序列，而不仅仅是局部上下文。这种设计使得模型在处理长距离依赖关系时更为高效，对于理解和生成复杂的...
C/C++开发，opencv内置背景减除算法与运动检测
技术需要分享
08-14 1123
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
Spark MLlib 特征工程(上)
08-14 4352
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
机器学习常用包numpy篇（零）前置知识·数值类型
最新发布
2301_79144343的博客
08-14 412
本文仅介绍numpy中的数值类型
GraphRAG：复杂查询的知识图谱新框架
YeJuliaLi的博客
08-14 912
微软最近发布了名为 GraphRAG（Graphs + Retrieval Augmented Generation）的创新 RAG 框架，这是一个将文本提取、语义网络分析，与大语言模型（LLM）的提示和总结功能结合在一起的端到端系统，用于深入理解文本数据集。在对私有数据中的复杂文本信息进行文档分析时，GrahRAG 使用 LLM 生成的知识图谱来大幅提高问答性能。这里的私有数据集是指 LLM 没...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值