神经网络与深度学习（五）

6.循环神经网络

6.1给神经网络增加记忆能力

前馈神经网络无法处理可变大小的输入，因此前馈神经网络限制了很多应用场景，比如处理长短不一的时序数据
前馈神经网络 每次输入都独立


延时函数z
得到延时单元再影响输出

自回归模型：和输入的y有关系
非线性自回归模型:不仅和时间变量y有关,还和外部输入x有关

另一种：循环神经网络

6.2循环神经网络

6.3应用到机器学习

6.4参数学习与长程依赖问题

γ大于1或小于1都会引起长程依赖问题
＞1：当t-k趋于无限时，梯度爆炸
＜1：当t-k趋于无限时，梯度消失

6.5如何解决长程依赖问题

6.6GRU与LSTM

GRU

Zt属于0到1上的一维向量

先算rt,Zt和ht，再根据图进行运算得到从ht-1到ht的转换

LSTM

6.7深层循环神经网络

双向神经网络：语音识别、机器翻译等等

6.8循环网络应用

输入x1，得到y1，y1再作为输入x2，依次往下

6.9扩展到图结构

u:全局变量
vi:点
ek:边

更新

m(v)t 表示t时刻节点v需要更新的信息message（包括邻接节点、全局变量和邻接边）
m(v)t再和t-1时刻的h组合得到非线性函数表示为t时刻的h
然后不断更新