pytorch组队学习

卷积神经网络基础

本节介绍循环神经网络，下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量H，用Ht表示H在时间步t的值。Ht的计算基于Xt和Ht−1，可以认为Ht记录了到当前字符为止的序列信息，利用Ht对序列的下一个字符进行预测。
循环神经网络的构造
我们先看循环神经网络的具体构造。假设 Xt∈Rn×d 是时间步 t 的小批量输入， Ht∈Rn×h 是该时间步的隐藏变量，则：

Ht=ϕ(XtWxh+Ht−1Whh+bh).

其中， Wxh∈Rd×h ， Whh∈Rh×h ， bh∈R1×h ， ϕ 函数是非线性激活函数。由于引入了 Ht−1Whh ， Ht 能够捕捉截至当前时间步的序列的历史信息，就像是神经网络当前时间步的状态或记忆一样。由于 Ht 的计算基于 Ht−1 ，上式的计算是循环的，使用循环计算的网络即循环神经网络（recurrent neural network）。

在时间步 t ，输出层的输出为：

Ot=HtWhq+bq.

其中 Whq∈Rh×q ， bq∈R1×q 。

leNet

卷积神经网络进阶

GRU
RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）
⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系

LSTM
长短期记忆long short-term memory :
遗忘门:控制上一时间步的记忆细胞 输入门:控制当前时间步的输入
输出门:控制从记忆细胞到隐藏状态
记忆细胞：⼀种特殊的隐藏状态的信息的流动