李宏毅机器学习之不知道学到了哪里随便写写系列1

前言：由于学习过程比较乱，导致入门了好久，不知道学到哪里了，突然想起来可以用csdn做笔记，故打开了我的网页，也为了不让我走神睡觉，敲起了拼音。。。。。（唉，小声叹息......）

标题：（选修）RNN

1、Recurrent Neural Network介绍引出

应用：

解决Slot Filling（自动订票系统）

1、叠一个Feedforward network，把词汇放进去，用向量表示词汇（1-of-N encoding或者word vector）

说明：beyond 1-of-N encoding，出现词典里面没有的词汇，多加一个dimension，表示other，如果没有则归类到此里面；

有记忆力的话，则可以解决input同样的词汇，但output必须是不同的问题（Recurrent Neural Network ）

当这些hidden layer里面的neuron有output的时候，都会存到memory里面，下一次有input的时候，会把memory里面的值也会考虑进去，会影响output，

2、RNN引申

2.1of course it can be deep...

2.2 Elman Network&Jordan Network

左边的没有target，右边的有target

2.4 Bidirtectional RNN

考虑一整个sentence比只看input的效果要好很多

2.5 Long Short-term Memory（LSTM）

整个LSTM可以当成有4个Input，一个output