【LSTM】LSTM网络及参数学习笔记

 

图1 LSTM模型结构可视化 [6].

图2 LSTM cell结构说明

图3 LSTM cell和num_units说明 [4].

图4 LSTM的网络结构

1. LSTM

• 是对一个LSTM层的抽象，可以看成是由多个LSTM cell组成，是包含时间步的一个网络

2. LSTM cell

• 图2是LSTM在时间步上的结构，结合图3来理解LSTM cell的概念
• 在时间步上cell_1->cell_2->cell_3->…只是一个cell在不同时刻的表现
• 也就是说LSTM cell是某一时刻包含多个隐藏层神经元的结构

3. num_layers

• 模型层数(隐藏层)

• LSTM隐藏层/循环层的层数。如图1的隐藏层1和隐藏层2所示

• LSTM结构的个数，即多少个LSTM结构的堆叠。如图2的layer1和layer2所示

• num_layers默认是1，可以设置1~10

• 整个LSTM网络就是： input -> LSTM结构 * n -> output

• num_layers = hidden_num_layers

4. feature_size

• 输入x的特征数，number of features in the input x
• feature_size = input_size

5. input_size

• 输入维度，输入x的特征数
• input_size = feature_size

6. hidden_size

<