[自然语言处理入门]-NLP中的注意力机制
本章的主要内容有:注意力机制概述 传统注意力机制 注意力编码机制1、注意力机制概述注意力机制简单来说就是:加权求和机制/模块 加权求和模块 :神经网络中的一个组件,可以单独使用,但更多地用作为网络中的一部分。2、传统注意力机制2.1 注意力模块结构1、注意力模块结构如下图所示:功能:对于集合 K ,求相对 Q 各个元素的权重,然后按权重相加形成 Q 要的结果2、注意力模块计算的步骤如下:步骤1:计算 f ( Q ,Ki ) 步骤2:softmax(f ( .
原创
2022-01-30 13:18:36 ·
4545 阅读 ·
0 评论