Attention中的Mask: query mask, key mask, future mask
Attention简介Attention是2015年被提出来的,在NLP领域大放光彩。Attention具有在繁多信息中自动focus到重点的能力,而且Attention可以实现并行,一定程度上可以替代LSTM等循环神经网络,提高模型效率。Attention的具体介绍可以参考Attention总结。根据上面的Attention总结,Attention可以看作是 QKV 模型,假设输入为 q,(...
原创
2019-07-27 14:45:43 ·
9147 阅读 ·
1 评论