本文探讨了如何通过使用带状矩阵和低秩矩阵来优化自注意力机制，以实现线性复杂度。Linformer提出的方法减少了参数数量，降低了过拟合风险。通过对注意力权重矩阵进行截断和平移操作，实现了对自注意力的近似，同时保持了计算效率。
自注意力一般是低秩的, 证明参考
Linformer: Self-Attention with Linear Complexity 定理 1.
这也比较容易猜测出来. 因为文本词汇大多数依赖于自己距离很近的词汇, 较少依赖距离较远的词汇.
这意味着可以使用 两个矩阵逼近 W Q W^Q WQ 或者 W K W^K WK. 其中一个矩阵是带状矩阵, 另一个是稀疏低秩矩阵. 明显带装矩阵只有下图蓝色部分需要确定, 其余为0. 
低秩矩阵可以看成是小矩阵的乘积.
假定正常 注意力机制 权重矩阵为
A : = H W Q ( W K ) T H T , A:=HW^Q(W^K)^TH^T, A:=HWQ(WK)THT,
W Q , W K W^Q,W^K WQ,WK 都是 d × d d \times d d×d 矩阵.
构作 d × r d \times r d×r 矩阵 W l Q , W l K W_l^Q,W_l^K WlQ,WlK, 其中 r ≪ l ≪ d r \ll l \ll d r≪l≪d.
A l : = H W l Q ( W l K ) T H T A_l:=HW_l^Q(W_l^K)^TH^T Al:=HWlQ(WlK)THT.
这会明显减少所需要确定的参数,从而提高效率降低过拟合.
对一个句子 H H H, 他的 第 i 个词汇(token) 对第 j个词汇的 注意力概率为 a i , j a_{i,j} ai,j
最低0.47元/天 解锁文章
1242
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
