09.自注意力机制

最新推荐文章于 2024-08-05 18:14:11 发布
最新推荐文章于 2024-08-05 18:14:11 发布
阅读量255 收藏 4
点赞数 1
分类专栏： 李宏毅 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ftrghujhgf/article/details/139174320
版权

文章目录

输入

在这里插入图片描述

输出

在这里插入图片描述

运行

在这里插入图片描述
链接（Attention Is All You Need）

如何运行

在这里插入图片描述

解决关联性

在这里插入图片描述

attention score

也可以不用softmax，relu也行。
在这里插入图片描述

额外的

在这里插入图片描述

Q K V

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Multi-head self-attention

在这里插入图片描述
在这里插入图片描述

Positional Encoding

在这里插入图片描述
https://arxiv.org/abs/2003.09229

在这里插入图片描述

Truncated Self-attention

只看一个小范围。
在这里插入图片描述

影像处理

在这里插入图片描述

vs CNN

在这里插入图片描述
在这里插入图片描述

vs RNN

在这里插入图片描述

图上的应用

在这里插入图片描述

倾海、
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
基于自注意力机制（Self-Attention）对twitter数据进行情感分析
CSDN 精品推荐
10-24 2624
密歇根大学情感分析比赛KaggleNiek Sanders的推特情绪语料库推特情绪分析数据集包含1,578,627条分类推文，每一行标记为1表示积极情绪，0表示消极情绪。我建议使用1/10的语料库来测试你的算法，而剩下的可以用来训练你用来分类情绪的算法。
【NLP】Transformer—用注意力机制改进自然语言处理
sikh_0529的博客
09-24 9814
在上一章中，我们通过情感分析项目了解了() 及其在(然而，最近出现了一种新的架构，该架构已被证明优于多个 NLP 任务中基于 RNN 的() 模型。这就是所谓的架构。变形金刚已经彻底改变了自然语言处理，并处于许多令人印象深刻的应用程序的前沿，包括自动语言翻译 () 和建模基础蛋白质序列 () 的特性来创建帮助人们编写代码的 AI (）。在本章中，您将了解注意力和自注意力的基本机制，并了解它们是如何在原始转换器架构中使用的。
【Transformer 相关理论深入理解】注意力机制、自注意力机制、多头注意力机制、位置编码
热门推荐
qq_38253797的博客
10-26 2万+
transformer原理
【学习】注意力机制（Attention）和 自注意力机制（self-Attention）
qq_46110320的博客
04-07 1087
我们还得进行一个汇总，当你使用 Q 查询结束了后，Q 已经失去了它的使用价值了，我们最终还是要拿到这张图片的，只不过现在的这张图片，它多了一些信息（多了于我而言更重要，更不重要的信息在这里）。这样的话，就得到了一个新的 V’，这个新的 V’ 就包含了，哪些更重要，哪些不重要的信息在里面，然后用 V’ 代替 V。这里的 its 做了自注意力，其包含了这句话所有词的信息，并且对Law的相似度最高，所以这里的its最有可能代表its。我（查询对象 Q），这张图（被查询对象 V），图中包含的模块（K）。
论文--计算机视觉中的注意力机制
有问题请直接说问题就好
09-28 3735
计算机视觉中用到的注意力机制模块
深度学习 - 注意力机制
qq_40671063的博客
05-15 1342
注意力机制含义梳理
【论文阅读 09】融合门控自注意力机制的生成对抗网络视频异常检测
weixin_42322991的博客
09-20 1565
2021年 中国图象图形学报。
时间序列中的自注意力机制 (Self-Attention Mechanism) 详细解释及举例
m0_51200050的博客
06-12 491
时间序列里的自注意力实现过程（小白可入）
通道注意力机制keras_注意力机制及Keras实现
weixin_40009026的博客
12-21 3129
注意力往往与encoder-decoder(seq2seq)框架搭在一起，假设我们编码前与解码后的序列如下：编码时，我们将source通过非线性变换到中间语义：则我们解码时，第i个输出为：可以看到，不管i为多少，都是基于相同的中间语义C进行解码的，也就是说，我们的注意力对所有输出都是相同的。所以，注意力机制的任务就是突出重点，也就是说，我们的中间语义C对不同i应该有不同的侧重点，即上式变为：常见的...
自然语言处理（十八）：Transformer多头自注意力机制
GeniusAng的博客
01-22 2144
自然语言处理（十八）：Transformer多头自注意力机制
注意机制matlab
03-15
通过分析和理解这个脚本，我们可以学习到如何在MATLAB中构建一个自注意力模型，包括特征提取、权重分配、显著性评分以及最终的显著性图生成。 四、相关研究与进阶学习 阅读`1708.pdf`这篇文献，可能可以深入了解...
汽车自动变速箱原理及检修___09.rar
08-25
最后，自动变速器4.doc很可能是关于自动变速箱的检修步骤和技巧，包括故障诊断流程、拆装注意事项、零部件检测与修复。这部分内容对于专业维修人员尤其重要，能够帮助他们准确判断故障源并进行有效修理。 总的来说...
09税务筹划试卷定义.pdf
12-06
在设计纳税筹划方案时，学生需要注意方案的可行性、目的明确性、材料的充分性、结构的合理性以及语言的通顺性。此外，结合实际情况和社会调查，提出创新的观点也很重要。评分标准强调了按时提交、方案实用性、节税...
09案例篇.pdf
07-24
根据给定文件的信息，我们可以总结出...- **参数配置注意事项**：确保测试配置合理有效。 以上是对给定文档内容的详细解读和总结，这些知识点不仅适用于Web站点的性能测试，也是IT行业中软件测试领域的重要组成部分。
Free MyBatis plugin最新版2021.12.09版本
02-22
2021.12.09版本可能是这个插件的最后一个版本，用户在使用时需要注意可能存在的风险，比如安全漏洞、功能失效等。如果仍然选择使用，建议备份好数据，并时刻关注社区中可能存在的解决方案或替代插件。 MyBatis的...
深度学习中降维的几种方法
Thomas_Cai的记忆殿堂
08-02 888
深度学习中降维的几种方法
深度学习-模型剪枝
chengbin20101的博客
08-05 390
模型剪枝是一种模型压缩技术，它通过移除神经网络中的“不必要”权重或偏差（weight/bias），减少模型的大小和计算量，从而提高模型的效率和速度。剪枝的主要目的是在保持模型性能的前提下，降低模型的复杂度和资源消耗。
卷积神经网络（CNN）简单原理与简单代码实现
最新发布
chengbin20101的博客
08-05 294
这段代码首先定义了数据预处理步骤，然后定义了一个简单的CNN模型，该模型包含两个卷积层、两个池化层和一个全连接层。需要注意的是，测试模型的代码部分在这里被省略了，但通常包括关闭梯度计算、遍历测试集、计算模型输出与真实标签之间的损失或准确率等步骤。卷积操作是使用一个或多个可学习的滤波器（或称卷积核）在输入数据上滑动，计算滤波器与输入数据对应区域的点积，生成特征图（Feature Map）。局部连接：卷积层中的每个神经元仅与输入数据的一个局部区域相连，这有助于捕捉图像的局部特征。
基于深度学习的联邦学习
weixin_42605076的博客
08-03 558
基于深度学习的联邦学习（Federated Learning, FL）是一种分布式机器学习方法，允许多个参与者（如设备或组织）在不共享原始数据的情况下共同训练模型。它通过在本地设备上训练模型，并仅共享模型更新（如梯度或参数），保护数据隐私和安全。
自注意力机制代码实现
04-23
自注意力机制（Self-Attention）是一种用于处理序列数据的机制，常用于自然语言处理任务中。下面是一个简单的自注意力机制的代码实现示例： ```python import torch import torch.nn as nn class SelfAttention(nn.Module): def __init__(self, input_dim): super(SelfAttention, self).__init__() self.query = nn.Linear(input_dim, input_dim) self.key = nn.Linear(input_dim, input_dim) self.value = nn.Linear(input_dim, input_dim) self.softmax = nn.Softmax(dim=-1) def forward(self, x): q = self.query(x) k = self.key(x) v = self.value(x) scores = torch.matmul(q, k.transpose(-2, -1)) attention_weights = self.softmax(scores) output = torch.matmul(attention_weights, v) return output # 使用示例 input_dim = 512 seq_len = 10 batch_size = 32 input_data = torch.randn(batch_size, seq_len, input_dim) self_attention = SelfAttention(input_dim) output = self_attention(input_data) print(output.shape) ``` 上述代码中，`SelfAttention` 类定义了一个自注意力机制模块。在 `forward` 方法中，通过线性变换将输入数据 `x` 映射到查询（query）、键（key）和值（value）空间。然后计算查询和键的相似度得分，并通过 softmax 函数将得分转化为注意力权重。最后，将注意力权重与值相乘得到输出。 相关问题： 1. 什么是自注意力机制？ 2. 自注意力机制的作用是什么？ 3. 自注意力机制在自然语言处理中的应用有哪些？ 4. 自注意力机制与传统的注意力机制有什么区别？ 5. 自注意力机制的计算复杂度如何？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

倾海、

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值