前言:由于学习过程比较乱,导致入门了好久,不知道学到哪里了,突然想起来可以用csdn做笔记,故打开了我的网页,也为了不让我走神睡觉,敲起了拼音。。。。。(唉,小声叹息......)
标题:(选修)RNN
1、Recurrent Neural Network介绍引出
应用:
解决Slot Filling(自动订票系统)
1、叠一个Feedforward network,把词汇放进去,用向量表示词汇(1-of-N encoding或者word vector)
说明:beyond 1-of-N encoding,出现词典里面没有的词汇,多加一个dimension,表示other,如果没有则归类到此里面;
有记忆力的话,则可以解决input同样的词汇,但output必须是不同的问题(Recurrent Neural Network )
当这些hidden layer里面的neuron有output的时候,都会存到memory里面,下一次有input的时候,会把memory里面的值也会考虑进去,会影响output,
2、RNN引申
2.1of course it can be deep...
2.2 Elman Network&Jordan Network
左边的没有target,右边的有target
2.4 Bidirtectional RNN
考虑一整个sentence比只看input的效果要好很多
2.5 Long Short-term Memory(LSTM)
整个LSTM可以当成有4个Input,一个output