Pytorch LSTM初识(详解LSTM+torch.nn.LSTM()实现)1

pytorch  LSTM1初识

 

目录

pytorch  LSTM1初识

​​​​​​​​​​​​​​​​​​​​​

一、LSTM简介1

1.1    遗忘门，

1.2    确定什么样的新信息被存放在当前Cell中（也即中）。

1.3    确定更新Cell中的信息

1.4    输出(这里ht既是实际输出，也是下一层的隐藏层输入，具体如图所示)

二、LSTM简介2

三、pytorch实现

3.1    定义LSTM

3.2     定义好LSTM ()后参数，这里不明白，可先看下面实例，再回头看此项：

3.3    计算公式

3.4    LSTM实例1：

3.5    LSTM实例2：

3.6    Pytorch中LSTM模型图：

---

​​​​​​​

一、LSTM简介1

LSTM整体图：

1.1    遗忘门，

决定是否丢弃或丢弃多少Cell中所存的之前的信息（也即Ct-1中）。sigmoid输出0到1之间的数字，数值的大小操作决定多少信息可以传送过去；当为0时，不传送；当为1时，全部传送。

计算公式：

1.2    确定什么样的新信息被存放在当前Cell中（也即中）。

首先，sigmoid 层称 “输入门层” 决定什么值我们将要更新。然后， tanh 层创建一个新的候选值向量，会被加入到状态中。

sigmoid 层计算公式

tanh 层计算公式

1.3    确定更新Cell中的信息

计算公式

 

符号：，是Hadamard Product，也就是操作矩阵中对应的元素相乘，因此要求两个相乘矩阵是同型的。

1.4    输出(这里ht既是实际输出，也是下一层的隐藏层输入，具体如图所示)

首先， sigmoid 层来确定Cell状态的哪个部分将输出出去；然后，把C