白话transformer（二）：Q K V矩阵

最新推荐文章于 2024-03-26 13:38:30 发布
最新推荐文章于 2024-03-26 13:38:30 发布
阅读量1.5k 收藏 14
点赞数 16
分类专栏： NLP Transformer+BERT学习攻略+任务代码实战 文章标签： transformer 矩阵 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Andy_shenzl/article/details/136650313
版权

前面说了注意力机制的工作原理，本次来看看为了实现自注意力机制，Q K V矩阵是如何实现的。

B站视频

白话transformer（二）

1、语义相似性

我们在前面说了，embedding的作用就是相似的单词会被赋予相似的数字，那么我们是如何来计算语义的相似度的呢？
在这里插入图片描述
相似性其实是我们用来单词之间相似性的标准，我们希望有一种测量的方法使得可以用一些客观表示来形容相似度。

我们在这里介绍三种可以计算语义相似度的方法

1.1 点积

点积（dot product），又称内积（inner product），是两个向量的运算，结果是一个标量（一个单一的数值）。在数学、物理和计算机科学中，点积是一种基础且重要的运算。
对于两个向量

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Andy_shenzl
关注
  • 16
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Transformer Model: Attention without RNN
10-15
深入浅出理解Attention机制 深入浅出理解Transformer原理 Transformer Model Attention for Seq2Seq Model Attention without RNN Self-Attention without RNN
如何理解attention中的Q、K、V
m0_51474171的博客
10-28 7803
Q:QueryK:KeyV:Value其实是三个矩阵，矩阵如果表示为LxD，L是句子中词的个数，D是嵌入维度，在自注意力机制里，QKV是表示同一个句子的矩阵，否则KV一般是来自一个句子，而Q来自其他句子可以通过这三个线性变换query，key，value得到我们想要的QKV，其中三个变换的输入都是768维，输出都是768维将该矩阵输入上面的三个线性转换，就可以得到三个矩阵KQV，，维度其实没有改变。
重学Attention
qq_36309174的博客
01-21 736
注意力机制对比RNN主要解决了RNN无法并行，并且不能解决长序列依赖问题所以为什么设计Q K V这三个矩阵 一边来是让 K == V的首先通过Q 和 K点击计算Attention矩阵，这个矩阵表明的是V上每一个特征与Q的相关程度，相关程度高的，权重就大一点，相关程度低的权重就低一点自注意力的Q K V来来源相同自注意力的创新性在这里就完美的体现出来了，同一句话，哪些词对making的作用就体现出来了对吧。
Transformer中的Q，K，V
vivi_cin的博客
06-25 3327
transformer中的Q,V,T和attemtion
Vision Transformer （ViT）：图像分块、图像块嵌入、类别标记、QKV矩阵与自注意力机制的解析
养乐多的博客
07-29 8943
本文将介绍Vision Transformers （ViT）中的关键点。包括图像分块（Image Patching）、图像块嵌入（Patch Embedding）、类别标记（class_token）、QKV矩阵计算过程、余弦相似度（cosine similarity）、Softmax、自注意力机制等概念。主要介绍QKV矩阵计算过程。
transformer中QKV的通俗理解(渣男与备胎的故事)
热门推荐
Weary_PJ的博客
03-17 3万+
transformer中QKV的通俗理解(渣男与备胎的故事) Attention is all you need
如何理解self attention中的QKV矩阵
weixin_38381682的博客
03-15 1万+
如何理解self attention中的QKV矩阵 疑问：三个矩阵的形状是一样的（embd_dim*embd_dim），作用也都是对输入句子的embedding做线性变换（tf.matmul(Q,input_value),tf.matmul(K,input_value)，tf.matmul(V,input_value)）。 那么，为什么需要三个矩阵QKV。 对于这个问题，在我第一次看了b站博主视频https://www.bilibili.com/video/BV1P4411F77q（强烈推荐）。就已经
Swin Transformer实战：timm中的 Swin Transformer实现图像分类（多GPU）。
02-22
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用timm版本的Swin Transformer图像分类模型实现分类任务已经对验证集得分的统计，本文实现了多个GPU并行训练。 通过本文你和学到： ...
transformer：CVPR 论文链接
最新发布
04-16
transformer
毕业设计：基于transformer的序列数据二分类完整代码+数据可直接运行.zip
04-17
毕业设计：基于transformer的序列数据二分类完整代码+数据可直接运行
YOLOV5 改进实战项目【更换backbone为Swin-Transformer】：农场乌鸡目标检测数据集
03-21
基于YOLOV5【更换backbone为Swin-Transformer】对农场乌鸡目标检测数据集的目标检测实战项目，包含代码、数据集、训练好的权重参数，经测试，代码可以直接使用 【数据集介绍】乌鸡图像数据，1类别：乌鸡 训练集...
主题模型--BERTopic python解析
Andy_shenzl的博客
10-24 5190
BERTopic是基于BERT词向量进行主题建模技术，它利用 Transformer 和 c-TF-IDF 来创建密集的集群（分类），允许轻松解释主题，同时在主题描述中保留重要词。主题模型（Topic Model）是自然语言处理中的一种常用模型，是一种无监督学习方法，它用于从大量文档中自动提取主题信息。分词可以实现处理好再进行建模，也可以定义好分词的方法在建模时传入，一般建议先分词在建模，这样可以打印中间分词结果进行检查。主题模型的核心思想是，每篇文档都可以看作是多个主题的混合，而每个主题则由一组词构成。
Bert基础(八)--Bert实战之理解Bert微调
Andy_shenzl的博客
03-26 1595
到目前为止，我们已经介绍了如何使用预训练的BERT模型。现在，我们将学习如何针对下游任务微调预训练的BERT模型。需要注意的是，微调并非需要我们从头开始训练BERT模型，而是使用预训练的BERT模型，并根据任务需要更新模型的权重。在本节中，我们将学习如何为以下任务微调预训练的BERT模型。
Bert基础(三)--位置编码
Andy_shenzl的博客
02-21 1504
这样一来，输入矩阵不仅有词的嵌入值，还有词在句子中的位置信息。下图是一个编码器模块，从中我们可以看到，在将输入矩阵送入编码器之前，首先要将位置编码加入输入矩阵中，再将其作为输入送入编码器。前馈网络的参数在句子的不同位置上是相同的，但在不同的编码器模块上是不同的。(1) 将输入转换为嵌入矩阵（输入矩阵），并将位置编码加入其中，再将结果作为输入传入底层的编码器（编码器1）。只需将输入矩阵X与计算得到的位置编码矩阵P进行逐元素相加，并将得出的结果作为输入矩阵送入编码器中。代入pos值，我们得到结果。
白话transformer（三）：Q K V矩阵代码演示
Andy_shenzl的博客
03-15 1339
在前面讲解了QKV矩阵的原理，属于比较主观的解释，下面用简单的代码再过一遍加深下印象。白话transformer（三）
知识图谱最简单的demo实现
Andy_shenzl的博客
11-30 1269
知识图谱整个建立过程可以分为以下几点：fill:#333;color:#333;color:#333;fill:none;数据处理创建三元组可视化展示数据预处理：分词、命名实体识别、语义角色识别、句法依存分析等创建三元组：需要根据命名实体识别、语义角色识别结果进行处理，建立规则生成三元组用用图数据库或者接触可视化工具进行展示。
Bert基础(一)--自注意力机制
Andy_shenzl的博客
02-19 1264
当下最先进的深度学习架构之一，Transformer被广泛应用于自然语言处理领域。它不单替代了以前流行的循环神经网络(recurrent neural network, RNN)和长短期记忆(long short-term memory, LSTM)网络，并且以它为基础衍生出了诸如BERT、GPT-3、T5等知名架构。本文将带领你深入了解Transformer的实现细节及工作原理。
如何计算Transformer中的QKV？
03-06
Transformer中的QKV计算是通过将输入的特征向量分别映射为查询（Q）、键（K）和值（V）向量，然后通过计算注意力权重来获取最终的输出。下面是计算Transformer中的QKV的步骤： 1. 映射输入特征向量为查询（Q）、键（K）和值（V）向量[^1][^2]。 - 首先，通过线性变换将输入特征向量映射为查询向量Q、键向量K和值向量V。这个线性变换可以使用矩阵乘法和偏置项来实现。 - 例如，在自然语言处理任务中，输入特征向量可以是词嵌入向量，通过线性变换将其映射为查询向量Q、键向量K和值向量V。 2. 计算注意力权重[^1]。 - 使用查询向量Q和键向量K计算注意力权重。注意力权重表示了查询向量与键向量之间的相关性。 - 通过计算查询向量Q和键向量K的点积，然后除以一个缩放因子（如向量维度的平方根），再经过softmax函数得到注意力权重。 3. 使用注意力权重加权求和得到输出。 - 将注意力权重与值向量V相乘，然后对结果进行加权求和，得到最终的输出向量。 - 这个输出向量可以作为下一层的输入，或者作为模型的最终输出。 下面是一个示例代码，演示了如何计算Transformer中的QKV： ```python import torch import torch.nn as nn # 定义一个Transformer模型 class Transformer(nn.Module): def __init__(self, input_dim, output_dim): super(Transformer, self).__init__() self.linear_q = nn.Linear(input_dim, output_dim) self.linear_k = nn.Linear(input_dim, output_dim) self.linear_v = nn.Linear(input_dim, output_dim) def forward(self, x): q = self.linear_q(x) k = self.linear_k(x) v = self.linear_v(x) # 计算注意力权重 attention_weights = torch.softmax(torch.matmul(q, k.transpose(-2, -1)) / torch.sqrt(torch.tensor(q.size(-1))), dim=-1) # 使用注意力权重加权求和得到输出 output = torch.matmul(attention_weights, v) return output # 创建一个Transformer模型实例 input_dim = 512 output_dim = 256 transformer = Transformer(input_dim, output_dim) # 输入特征向量 x = torch.randn(10, input_dim) # 计算Transformer中的QKV output = transformer(x) print(output) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Andy_shenzl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值