RNN-时间序列预测模型

RNN-应用场景

语音识别
音乐生成
情感分析:根据输入的评论,猜测评论的分数。
DNA序列分析
语言翻译等
带时间序列应用的场景
后面产生的结果,是受到前面结果的影响的。
在这里插入图片描述
区别于神经网络预测

神经网络的输入的特征都是固定不变的,强调特征的位置。
标准的神经网络是不适合用来处理带时间序列的模型的。

但是RNN 可以处理

RNN网络结构

在这里插入图片描述
将每一个时间状态 进行串联
后面的状态后受到前面状态的影响

单个单元

在这里插入图片描述
当前的x 和 前一个状态 a的t-1
tanh激活函数 学习非线性的部分
在这里插入图片描述
输出还乘以权重+偏置
在这里插入图片描述
比喻理解:
a的t-1状态,和男朋友吵架。
输入 x的t,闺蜜煽风点火。
当下的产生的行为,y的t,和男朋友分手。
同时,产生新的状态 a的t。

RNN的特点:

1.串联,能体现前因后果,后面结果的生产要参考前面的信息。
2.所有的特征共享一套参数。每一个单元的W都是一样的。
面对不同的输入,能学到不同的 相应的结果。
极大的减少了训练参数量。
输入和输出可以有不同的长度

RNN前向传播路径:

如下图红色 所示,即箭头的指向。
在这里插入图片描述
这里的y的t状态的输入,如果是2分类问题,比如判断是否是人名,可以使用 signal作为激活函数,替代softmax函数。

损失函数

损失函数的评估使用 交叉熵函数:
在这里插入图片描述

整个序列的损失函数:就是每个单元函数的损失的和
在这里插入图片描述

反向传播更新参数

一共需要通过反向传播需要更新四个参数
分别是图中的四个 红色 的圈圈
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值