python attention机制_[深度应用]·Keras实现Self-Attention文本分类（机器如何读懂人心）...

最新推荐文章于 2024-01-23 20:22:46 发布
最新推荐文章于 2024-01-23 20:22:46 发布
阅读量978 收藏 3
点赞数 1
文章标签： python attention机制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42349261/article/details/114910267
版权

[深度应用]·Keras实现Self-Attention文本分类(机器如何读懂人心)

笔者在[深度概念]·Attention机制概念学习笔记博文中，讲解了Attention机制的概念与技术细节，本篇内容配合讲解，使用Keras实现Self-Attention文本分类，来让大家更加深入理解Attention机制。

一、Self-Attention概念详解

了解了模型大致原理，我们可以详细的看一下究竟Self-Attention结构是怎样的。其基本结构如下

b560178a03576b54793a09ee88a3b192.pngwAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==​

对于self-attention来讲，Q(Query), K(Key), V(Value)三个矩阵均来自同一输入，首先我们要计算Q与K之间的点乘，然后为了防止其结果过大，会除以一个尺度标度 equation?tex=%5Csqrt%7Bd_k%7DwAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==​ ，其中 equation?tex=d_kwAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==​ 为一个query和key向量的维度。再利用Softmax操作将其结果归一化为概率分布，然后再乘以矩阵V就得到权重求和的表示。该操作可以表示为 equation?tex=Attention%28Q%2CK%2CV%29+%3D+softmax%28%5Cfrac%7BQK%5ET%7D%7B%5Csqrt%7Bd_k%7D%7D%29VwAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==​

这里可能比较抽象，我们来看一个具体的例子(图片来源于https://jalammar.github.io/illustrated-transformer/，该博客讲解的极其清晰，强烈推荐)，假如我们要翻译一个词组Thinking Machines，其中Thinking的输入的embedding vector用 equation?tex=x_1wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==​ 表示，Machines的embedding vector用 equation?tex=x_2wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==​ 表示。

75954909f6cec1301099f0e3f6004b80.pngwAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==​

当我们处理Thinking这个词时，我们需要计算句子中所有词与它的Attention Score，这就像将当前词作为搜索的query，去和句子中所有词(包含该词本身)的key去匹配，看看相关度有多高。我们用 equation?tex=q_1wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==​ 代表Thinking对应的query vector， equation?tex=k_1wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==​ 及 equation?tex=k_2wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==​ 分别代表Thinking以及Machines对应的key vector，则计算Thinking的attention score的时候我们需要计算 

最低0.47元/天 解锁文章
耳召召
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python-Pytorch实现SelfAttentionGenerativeAdversarialNetworksSAGAN
08-11
Pytorch实现Self-Attention Generative Adversarial Networks (SAGAN)
机器如何读懂人心：Keras实现Self-Attention文本分类
AI科技大本营
06-22 1420
作者 | 小宋是呢转载自CSDN博客一、Self-Attention概念详解了解了模型大致原理，我们可以详细的看一下究竟Self-Attention结构是怎样的。其基本结...
情感分类——self-Attention
qq_40240102的博客
09-30 1998
序 本文为前文：Attention机制的延伸篇。 self-attenion对应的视频个人推荐李宏毅讲解的版本。偏向于求解，但是讲的非常nice。 首先，个人先做一个自己理解的比喻：attention其实可以看作一个有目标性的提取信息的过程，上一篇中的attention是根据target有选择性的提取source中的信息，那self-attention，其实就是自己提取自己的信息呗。 那按照这个...
PyTorch——实现自注意力机制（self-attention）
weixin_53598445的博客
05-27 2万+
文章目录1 原理简述 1 原理简述   Self-Attention Layer 一次检查同一句子中的所有单词的注意力，这使得它成为一个简单的矩阵计算，并且能够在计算单元上并行计算。 此外，Self-Attention Layer 可以使用下面提到的 Multi-Head 架构来拓宽视野，也就是多头注意力机制。Self-Attention Layer 基本结构如下： 对于每个输入 x\boldsymbol{x}x，首先经过 Embedding 层对每个输入进行编码得到 a1,a2,a3,a4\boldsy
Python深度学习12——Keras实现注意力机制(self-attention)中文的文本情感分类（详细注释）
weixin_46277779的博客
07-11 1万+
中文的文本情感分类，Keras实现注意力机制，self-attention，BiLSTM+Attention
keras-self-attention:处理顺序数据的注意力机制，考虑每个时间戳的上下文
05-31
Keras 自注意力 [| ] 处理顺序数据的注意力机制，考虑了每个时间戳的上下文。安装pip install keras-self-attention用法基本的默认情况下，注意力层使用附加注意力并在计算相关性时考虑整个上下文。 以下代码创建了...
Self-Attention-Keras：自我关注与文本分类
02-03
本仓库基于自关注机制实现文本分类。 依赖 Python 3.5 凯拉斯 数据集 IMDB影评高度分类数据集，来自IMDB的25,000条影评，被标记为正面/纵向两种评价。影评已被预先为词下标构成的序列。方便起见，单词的下标基于它...
chinese_L-12_H-768_A-12.zip
10-02
每个Transformer层由自注意力机制（Self-Attention）和前馈神经网络（Feed-Forward Network）组成，这样的结构使得模型能同时考虑输入序列的所有信息，而非仅关注局部上下文。“H-768”表示隐藏层的维度为768，这...
Attention_Network_With_Keras-master_LSTM_lstmkeras_lstmattention
09-29
标题中的"Attention_Network_With_Keras-master_LSTM_lstmkeras_lstmattention"表明这是一个使用Keras库构建的注意力机制（Attention Mechanism）与LSTM（长短时记忆网络）结合的项目。LSTM是一种特殊的循环神经网络...
Python-使用attention机制实现和可视化一个自定义RNN层
08-11
这个"keras-attention-master"压缩包可能包含了实现以上功能的源代码，你可以下载并研究其中的实现细节，以进一步提升自己在机器学习领域的实践能力。通过这个项目，你不仅能掌握如何在Python和Keras中构建Attention...
Python 基于pytorch实现多头自注意力机制代码；Multiheads-Self-Attention代码实现
最新发布
L_goodboy的博客
01-23 3501
Python 基于pytorch实现多头自注意力机制代码；Multiheads-Self-Attention代码实现，超详细实现多头注意力机制
基于self-attention的LSTM时间序列预测Python程序
黑科技小土豆的博客
03-30 1493
基于self-attention的LSTM时间序列预测Python程序
生成对抗神经网络 | Python实现AttnGAN注意力机制结合生成对抗神经网络
前程算法屋的博客
03-31 468
生成对抗神经网络 | Python实现AttnGAN注意力机制结合生成对抗神经网络
python实战-attention机制
qq_28979491的博客
05-22 5167
先写一句，未完待续。。前一部分来在转载来自https://blog.csdn.net/yimingsilence/article/details/79208750 理解RNN中的Attention机制：使用传统编码器-解码器的RNN模型先用一些LSTM单元来对输入序列进行学习，编码为固定长度的向量表示；然后再用一些LSTM单元来读取这种向量表示并解码为输出序列。采用这种结构的模型在许多比较难的序...
self-attention pytorch实现
weixin_48629412的博客
03-18 1775
Attention class Attention(nn.Module): def __init__(self, dim, num_heads=2, qkv_bias=False, qk_scale=None, attn_drop=0., proj_drop=0.): super().__init__() self.num_heads = num_heads head_dim = dim // num_heads self.scale
【CV中的Attention机制】融合Non-Local和SENet的GCNet
pprp的博客
01-16 2298
前言: 之前已经介绍过SENet和Non Local Neural Network(NLNet)，两者都是有效的注意力模块。作者发现NLNet中attention maps在不同位置的响应几乎一致，并结合SENet后，提出了Global Context block，用于全局上下文建模，在主流的benchmarks中的结果优于SENet和NLNet。 GCNet论文名称为：《GCNet: Non...
TensorFlow实现自注意力机制（Self-attention）
haoji007的博客
05-22 3489
自注意力机制(Self-attention) 自注意力机制 (Self-attention) 随着自然语言处理 (Natural Language Processing, NLP) 模型（称为“Transformer”）的引入而变得流行。在诸如语言翻译之类的NLP应用程序中，模型通常需要逐字阅读句子以理解它们，然后再产生输出。Transformer问世之前使用的神经网络是递归神经网络 (Recurrent Neural Network, RNN) 或者其变体，例如长短期记忆网络 (Long Short-T
PyTorch——自注意力（self-attention）机制实现（代码详解）
热门推荐
beilizhang的博客
03-28 8万+
参考链接 https://www.bilibili.com/video/BV1JE411g7XF?p=54 https://arxiv.org/abs/1706.03762 https://blog.csdn.net/qq_36653505/article/details/83375160 简述自注意力机制（self-attention） self-attention可以视为一个特征提取层，给定输入特征a1,a2,⋅⋅⋅ana^{1},a^{2},\cdot \cdot \cdot a^{n}a1,a2
pytorch实现自注意力（self-attention）
qq_41626059的博客
03-22 1万+
import torch import torch.nn as nn import torch.nn.functional as F class Attention_Layer(nn.Module): #用来实现mask-attention layer def __init__(self, hidden_dim, is_bi_rnn): super(Attention_Layer,self).__init__() self.hi
keras实现multi-head self-attention代码
08-31
Keras是一个流行的深度学习框架，可以用于实现各种神经网络模型，包括self-attention模型。Multi-head self-attention是一种扩展的self-attention模型，用于加强模型对输入数据中不同部分的关注能力。 具体实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值