关于attention的一点小认知

很久之前就看过attention的相关知识，只是没有动手实践，所以很多小细节没有考虑到．
（１）sequence-to-sequence model中，在解码的第一步S${}_0$是如何计算的就晕了好一阵，下面的图给出了解释

http://blog.csdn.net/xbinworld/article/details/54607525
(2)self-attention的两种计算方式

（３）相对attention(就是机器翻译里面用到的attention, 区别与self-attention)
Effective Approaches to Attention-based Neural Machine Translation
关于计算的方式有多种：

![这里写图片描述](https://img-blog.csdn.net/2018070918122999?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQyMjEyNjY=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
乘法attention
加法attention
http://cache.baiducontent.com/c?m=9f65cb4a8c8507ed19fa950d100b92235c4380146d8b804b2281d25f93130a1c187bb9e06c7f575886d83e7a0aa54d5eedf4356537747af1c4969c0f80fbc42738f85623061d913117c46aa5dc47559266d60db5e942bae6&p=8b2a9706958c10f208e29f7d6143&newp=882a9e46828800f50be29660564892695d0fc20e3bd4c44324b9d71fd325001c1b69e7bf23261a03d2c4786107a44c58ecf731763c1766dada9fca458ae7c47c64c97d&user=baidu&fm=sc&query=�ӷ�attention&qid=c9eb5b85000c8eef&p1=1