一文搞懂Attention机制的诞生及发展(原理+代码)
这个月初,我写过一篇博客,是关于共现网络的构建,之所以研究共现网络,就是想找寻词之间的关系,当然我之前的博客在决策树的时候也提到过信息熵和信息增益的概念,这些都是来衡量一个词的重要性。几个月前看了发表于2017年的经典论文《Attention Is All You Need》(NeurIPS2017)论文地址:https://arxiv.org/abs/1706.03762,这是Google在NeurIPS2017发表的一篇文章,在CV、NLP、多模态等各个领域都有很大的影响力,目前引用量已经2.2w+
复制链接