李宏毅深度学习(2)——RNN

slot filling是需要存储记忆的。

 

 

 

 

把现在neuron的output值store起来然后下一个时间点用，叫elman。

如果存的是整个network的output，是jordan。

jordan好处是我们容易知道放在memory里的值是什么。

 

 

文章啊句子常用bidirectional，记忆到的范围比较大。performance好。

 

 

 

 

 

在LSTM里面，有3个gate，自己会学习什么时候要把gate打开什么时候关上。三个gate和一个input，所以说这个neuron有4个input

 

 

 

原来RNN是非常short，下一个时间点就wash掉了更早的memory。现在也short term但是更long一点

 

 

 

 

 

一个计算例子

 

 

不要害怕

 

 

转载于:https://www.cnblogs.com/pocahontas/p/11556616.html