Augmenting Self-attention with Persistent Memory
arXiv: 1907.01470 [cs.LG] \url{1907.01470 [cs.LG]} 1907.01470 [cs.LG]
自注意力机制的 key value, query 都依赖于 输入, W K X W^KX WKX. 可以考虑同时使用不依赖于输入的 N 个 key-value 对. 前馈层可以看成是特殊的注意力机制, 从而将之并入自注意力机制,看成是 不依赖输入的 key-value 对的运算, 故而可以去掉这个层. 见下图.
上图左边是正常注意力机制, 右边蓝色部分是 M V M_V MV, 橙色部分是 M U M_U MU
编码层 由 注意力机制 & 前馈神经网络 & 残差归一化 组成.
自注意力
给定序列 X : = ( x 1 , ⋯ , x T ) X:=(x_1,\cdots,x_T) X:=(x1,⋯,xT), 列向量 x i x_i xi 的长度为 d. 自注意机制的 query, key 和 value 分别是
q i : = W Q x i , k i : = W K x i , v i : = W V x i . q_i:=W^Qx_i, \qquad k_i:=W^Kx_i, \qquad v_i:=W^Vx_i. qi:=WQxi,ki:=WKxi,vi:=W