Attention注意力机制与self-attention自注意力机制(转载)
原文链接:Attention注意力机制与self-attention自注意力机制 - 知乎
Attention注意力机制与self-attention自注意力机制
为什么要因为注意力机制
在Attention诞生之前,已经有CNN和RNN及其变体模型了,那为什么还要引入attention机制?主要有两个方面的原因,如下:
(1)计算能力的限制:当要记住很多“信息“,模型就要变得更复杂,然而目前计算能力依然是限制神经网络发展的瓶颈。
(2)优化算法的限制:LSTM只能在一定程度上缓解RNN中的长距离依
转载
2021-11-04 19:57:35 ·
2459 阅读 ·
0 评论