一.基础概念
对于一个全连接网络,即全部由线性层组成的网络,也称作dense(稠密型) 或者deep(深度型)网络,对于一个卷积神经网络,卷积核对多层图像处理,卷积核不变,所以权重数量少,而全连接网络的线性模型,权重数多,计算量大。
对于输入的特征具有明显的序列关系,如自然语言处理,或者天气时间序列预测,就适合使用RNN循环神经网络
而分解之后可以明显看到,我们对于序列的输入xi一次次进入循环网络,使用了相同的线性层,将每次输入的得到的结果更新hi再进入循环网络中,化作代码就相当于一次for循环的循环过程,对于CNN网络中的激活函数通常使用【-1,1】的tanh作为激活函数
二. RNNcell
具体的维度关系可以靠h是一个hidden_size * 1的维度,结合x为input_size * 1的维度来推出彼此的权重w的维度
举例说明:
batchSize = 每组几个样本,seqlen = 每次序列有几组batch
三. RNN使用方法及意义
层数增加
四.举例说明
4.1 采用独热编码使得输入的x进行向量化 - RNNcell的写法
因为这里是一个多分类问题,所以我们需要采用softmax,进行交叉熵损失计算,最终化为一个标量
4.2 模型定义 - RNNcell的写法
4.3 优化和交叉熵 - RNNcell的写法
criterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(net.parameters(), lr = 0.1)
4.4 训练过程 - RNNcell的写法
这里loss没有用item()因为最终我们需要用所有层得到的loss进行构造加法的构造图,所以不需要使用item()停止生成计算图
4.5 模型定义 - RNN的写法