TensorFlow2.0笔记（六）——用RNN实现连续数据的预测

北大MOOC——TF2.0笔记

以下是我的听课笔记，供以后回忆（大多内容来自ppt）

1.循环核

有些数据与时间序列相关，是可以根据上文预测出下文的。通过脑记忆体（循环核）提取历史数据的特征，预测出接下来最可能发生的情况。

循环核（记忆体）：循环核具有记忆力，通过不同时刻的参数共享，实现了对时间序列的信息提取。

循环核：可以设置记忆体的个数改变记忆容量。当记忆容量、输入xt、输出yt维度被指定，周围这些待训练参数的维度也就被限定了。
前向传播时：记忆体内存储着每个时刻的状态信息ht ，在每个时刻都被刷新，三个参数矩阵wxh、whh、why自始至终都是固定不变的。
反向传播时：三个参数矩阵wxh、whh、why被梯度下降法更新

yt就是一个全连接网络

2. 循环核按时间步展开

按时间步展开，就是把循环核按照时间轴方向展开，每个时刻记忆体状态信息ht被刷新，记忆体周围的参数矩阵wxh、whh、why是固定不变的，我们训练优化的就是这些参数矩阵，训练完成后，使得效果最好的参数矩阵执行前向传播，输出预测结果。

这与人类是相似的，人们脑中的记忆体是随当前的输入而更新的，当前的预测推理是根据以往的知识积累，用固化下来的参数矩阵进行推理判断的。

循环神经网络：借助循环核时间特征提取后，送入全连接网络。

yt是整个循环网络的末层，从公式来看就是一个全连接网络，借助全连接网络，实现连续数据预测。

3.循环计算层

每个循环核构成一层循环计算层。

循环计算层的层数是向输出方向增长的。

4.TF描述循环计算层

tf.keras.layers.SimpleRNN(记忆体个数，activation=‘激活函数’ ， return_sequences=是否每个时刻输出ht到下一层)

activation=‘激活函数’