![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
接天莲叶别样红
这个作者很懒,什么都没留下…
展开
-
如何理解SelfAttention
1. 如何理解attention attention可以理解为一种soft方式的用key找value a. Key找Value: 是有了key,就找出对应的value b. soft方式的 Key找Value: Query*key ->value, attention是Key要结合着Query,然后看在多大程度上使用value c.除了上述公式,也可以用别的Query和key的计算...原创 2019-06-05 17:22:00 · 1099 阅读 · 0 评论 -
lstm/gru理解
一、LSTM变量分析 3个gate,1个输入、1个输出、1个cell 二、LSTM模型 3个gate一样; cell = cell + inputgate; h=output * cell 三、GRU原创 2019-06-05 17:39:10 · 199 阅读 · 0 评论