attention 总结

1.NLP

attention 

https://zhuanlan.zhihu.com/p/47063917

self-attention

https://zhuanlan.zhihu.com/p/47282410

Self Attention与传统的Attention机制非常的不同：传统的Attention是基于source端和target端的隐变量（hidden state）计算Attention的，得到的结果是源端的每个词与目标端每个词之间的依赖关系。但Self Attention不同，它分别在source端和target端进行，仅与source input或者target input自身相关的Self Attention，捕捉source端或target端自身的词与词之间的依赖关系；然后再把source端的得到的self Attention加入到target端得到的Attention中，捕捉source端和target端词与词之间的依赖关系。因此，self Attention Attention比传统的Attention mechanism效果要好，主要原因之一是，传统的Attention机制忽略了源端或目标端句子中词与词之间的依赖关系，相对比，self Attention可以不仅可以得到源端与目标端词与词之间的依赖关系，同时还可以有效获取源端或目标端自身词与词之间的依赖关系。

引自：https://zhuanlan.zhihu.com/p/79115586

2.CV

直接卷积生成score map 再乘上去。如PCB_RPP

精品文章

https://www.zhihu.com/question/68482809

https://www.zhihu.com/question/68482809/answer/264070398
https://cloud.tencent.com/developer/article/1505040

https://blog.csdn.net/yideqianfenzhiyi/article/details/79422857