神经网络 || 注意力机制的算法图示和推导

1 注意力机制是什么?

  1. 注意力模型,最近几年在深度学习各个领域都有应用。
  2. 注意力机制是深度学习常用的一个小技巧,它有多种多样的实现形式,尽管实现方式多样,但是每一种注意力机制的实现的核心都是类似的,就是注意力。
  3. **核心:让神经网络关注到我们更需要它关注的地方。**关注更核心的部分,抑制其他无用的信息。

在这里插入图片描述

2 多输入怎么处理?

  1. 对于一个属性的输入,普通神经网络可以解决。
  2. 但是如果这个输入是多维的数据呢?而且输入的序列长度都不确定呢?

3 self-attention的图示

  • 如何根据多个输入,得到多个输出
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

4 自己整理一下self-attention的算法过程

  1. 目标:从 α 1 \alpha1 α1 α 2 \alpha2 α2 α 3 \alpha3 α3 α 4 \alpha4 α4(这四个是输入)得到 b 1 b^1 b1 b 2 b^2 b2 b 3 b^3 b3 b 4 b^4 b4(这四个是输出)
    在这里插入图片描述
  2. 每一个输入都分出q k v 三个值
    在这里插入图片描述
  3. 计算 α 1 , 1 ′ \alpha_{1,1}' α1,1等等

在这里插入图片描述
4. b 1 b_1 b1 α 1 , 1 ′ \alpha_{1,1}' α1,1× v ′ v' v等等四个求和得到的

在这里插入图片描述
5. 同理计算 b 2 b_2 b2 b 3 b_3 b3 b 4 b_4 b4

  • 下面用矩阵的思想,来并行计算上面的内容。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • softmax不是唯一的,也可以relu
    在这里插入图片描述
    在这里插入图片描述
  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值