CNN-GRU混合模型学习笔记

CNN：卷积神经网络

3个组成部分：
1.卷积层——提取图像局部特征
2.池化层——降维（防止过拟合）
3.全连接层——输出结果
一个卷积核扫完整张图片，得到每个小区域的特征值
具体应用中通常有多个卷积核
CNN可能有多层结构，如LeNet-5：
卷积层 – 池化层 – 卷积层 – 池化层 – 卷积层 – 全连接层

处理时间序列（1D序列）：（N，C，L）分别为批次大小、通道数、序列长度。
卷积层类型：使用 nn.Conv1d 来处理一维卷积，它只在一个维度上滑动卷积核。池化层通常是 nn.MaxPool1d 或 nn.AvgPool1d，沿着序列长度池化。
数据预处理：1D 数据:需要归一化或标准化处理，例如 z-score 标准化。可以使用信号处理库或直接用 NumPy、Pandas 等进行预处理。

GRU（Gate Recurrent Unit），门控循环单元

是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。
GRU的输入输出结构与普通的RNN一样

通过上一个传输下来的状态h^t-1和当前的输入x^t来获取两个门控状态
r为控制重置的门控，z为控制更新的门控，sigmoid函数为门控信号，将数据变换为0-1内的数值

首先用重置门控得到重置后的数据h^t-1^，再将其与x^t^拼接，再用激活函数tanh将数据放缩到-1~1范围内得到h

将h`添加到当前的隐藏状态，相当于记忆了当前时刻的状态，类似于LSTM的选择记忆阶段。

圆圈加一点是矩阵对应元素相乘（同型矩阵）
+代表矩阵加法操作
更新记忆阶段：使用更新门控z，z的范围为0~1，门控信号越接近1，代表”记忆“下来的数据越多；而越接近0则代表”遗忘“的越多。
加号左边选择性遗忘右边选择性记忆
忘记传递下来的
这一步的操作是忘记传递下来的h^t-1中的某些维度信息，并加入当前节点输入的某些维度信息。

GRU使用了同一个门控z就同时可以进行遗忘和选择记忆（LSTM则要使用多个门控）。
遗忘了多少权重（z），我们就会使用包含当前输入的h撇 中所对应的权重进行弥补（1-z）。以保持一种”恒定“状态。
GRU输入输出的结构与普通的RNN相似，其中的内部思想与LSTM相似。