本文详细介绍了注意力机制的计算规则，包括三种计算规则，并解析了注意力机制的流程。特别地，深入探讨了自注意力机制，解释了为何在self-attention中使用(Q, K, V)三元组，以及自注意力机制与普通注意力机制的区别，如关注度的侧重、应用位置及对输入数据的关系处理。"
110001693,9141608,理解凯撒密码：原理、加密与破解,"['信息安全', '密码学']
目录
一、注意力计算规则
他需要三个指定的输入query，key，value，然后通过计算公式得到注意力的结果。这个结果代表query在key和value作用下的注意力表示，当q=k=v时，称作自注意力计算规则。
关于self-attention为什么要使用(Q, K, V)三元组而不是其他形式:
- 首先一条就是从分析的角度看, 查询Query是一条独立的序列信息, 通过关键词Key的提示作用, 得到最终语义的真实值Value表达, 数学意义更充分, 完备.
- 这里不使用(K, V)或者(V)没有什么必须的理由, 也没有相关的论文来严格阐述比较试验的结果差异, 所以可以作为开放性问题未来去探索, 只要明确在经典self-attention实现中用的是三元组就好.
二 注意力的三种计算规则
三 注意力机制流程
1 首先把q和k，在列这一维度，做拼接。然后进入线性层。在经过softmax 输出ÿ
最低0.47元/天 解锁文章
127
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
