RNN与LSTM

小白学习记录

已于 2022-11-03 16:20:26 修改

阅读量364

点赞数

分类专栏：深度学习文章标签： rnn lstm 神经网络

于 2022-01-13 19:29:51 首次发布

本文链接：https://blog.csdn.net/feverfew1/article/details/122480774

版权

深度学习专栏收录该内容

10 篇文章 6 订阅

订阅专栏

RNN与LSTM

1、RNN（循环神经网络）
2、(LSTM)长短期记忆网络

本文来源于视频https://www.bilibili.com/video/BV1e5411K7oW?p=2

1、RNN（循环神经网络）

带时间序列的任务场景
- 例子：语音识别，生成一段音乐，情感分析
- 特点：前后关联强，“前因后果”
标准神经网络建模弊端
- 传统神经网络： $x_1,x_2....$ 为输入特征， $y_1,y_2...$ 为输出
  - $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yrQqYdFL-1642073002630)(C:\Users\28960\AppData\Roaming\Typora\typora-user-images\image-20220113154828369.png)]$
- 缺点：
  1. 单纯的神经网络结构，不共享文本从不同位置上学到的特征
  2. 参数量巨大
    - 输入特征一般是one-hot，维度大
    - 输入特征是一段序列，输入向量巨大
  3. 没有办法体现出时序上的“前因后果”
RNN循环神经网络
- 网络结构：多输入多输出 $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-u2ZLqAbA-1642073002634)(C:\Users\28960\AppData\Roaming\Typora\typora-user-images\image-20220113161151266.png)]$
  
  单元：
  
  $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GYXCGPYI-1642073002636)(C:\Users\28960\AppData\Roaming\Typora\typora-user-images\image-20220113161326128.png)]$
  
  单元可以用人脑比喻， $a^{(t)}$ 表示为状态， $x^{(t)}$ 为输入， $y^{(t)}$ 为输出
  
  例：假设你和人吵架， $a^{(t)}$ 表示为你愤怒的状态， $x^{(t)}$ 表示为朋友对你的劝解， $y^{(t)}$ 有两种结果：1-仍然很生气，2-不生气了
- 特点：
  1. 串联结构，体现出“前因后果”，后面结果的生成参考前面的结果
  2. 所有特征共享同一套参数
    - 不同的输入，学到不同的相应的结果
- 前向传播
  
  $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XUXRyCMW-1642073002637)(C:\Users\28960\AppData\Roaming\Typora\typora-user-images\image-20220113162515912.png)]$
- 损失函数
  1. 单个时间步的损失函数
    
    自定：比如上边的是分类所以他的损失函数一般是交叉熵损失函数
    
    $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5sRwOT5e-1642073002640)(C:\Users\28960\AppData\Roaming\Typora\typora-user-images\image-20220113162907160.png)]$
    
    其中， $p(x_i)$ ：真实概率； $q(x_i)$ ：预测概率
    
    如果是回归问题：他的损失函数一般是均方误差（L2损失）等等
    
    $[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-V0LT4H4w-1642073002642)(C:\Users\28960\AppData\Roaming\Typora\typora-user-images\image-20220113163543865.png)]$
    
    其中： $y_i$ 为真实值， $y_i^p$ 为预测值
  2. 整个序列的损失函数：将每一步的损失函数求和
    
    L（y`,y)= $\sum_{t=1}^{T}{H(p_t,q_t)}$
- 反向传播
缺点：梯度消失

2、(LSTM)长短期记忆网络

在这里插入图片描述

小白学习记录

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
RNN与LSTM

RNN与LSTM本文来源于视频https://www.bilibili.com/video/BV1e5411K7oW?p=21、RNN（循环神经网络）带时间序列的任务场景例子：语音识别，生成一段音乐，情感分析特点：前后关联强，“前因后果”标准神经网络建模弊端传统神经网络：x1,x2....x_1,x_2....x1,x2....为输入特征，y1,y2...y_1,y_2...y1,y2...为输出-缺点：单纯的神经网络结构，不共享文本从不同位置上学到的特征参数量
复制链接

扫一扫