Lee-ML-notes-RNN_LSTM

最新推荐文章于 2024-07-11 23:31:47 发布
最新推荐文章于 2024-07-11 23:31:47 发布
阅读量159 收藏
点赞数
分类专栏： 机器学习 文章标签： 深度学习 机器学习 lstm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42146630/article/details/105486717
版权

RNN LSTM

李宏毅机器学习课件截图 简短的笔记

RNN

循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。


在这里插入图片描述
在这里插入图片描述

RNN不一定传中间的，还可以将 y t y^t yt的权重传入到下一层


此外还有双向的循环神经网络 Bidirectional RNN

LSTM

长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

有四个输入和一个输出

三个门gate，输入门(Input Gate), 遗忘门(Forget Gate), 输出门(Output Gate)

记忆单元(Memory Cell)

在这里插入图片描述
在这里插入图片描述
LSTM举例

这里x2=1时表示输入门允许输入的相加，

当x2=-1时，遗忘门进行清零，

当x3=1的时候，输出门输出。

在这里插入图片描述
举例两个实际运算，每个门假设是固定的这四个权重，第一个输入门趋向为关闭，如果第二个输入值为正且＞1/10，会选择允许进入，否则输入为0；第二个遗忘门趋向不遗忘…

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
分别输入到四个输入出
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
RNN存在梯度消失梯度爆炸
在这里插入图片描述
如果一个权重只比1多了一点点，累计下去会导致输出很大

如果一个权重只比1小了一点点，累计下去会导致输出为0
在这里插入图片描述
但是LSTM可以通过门来解决梯度消失和梯度爆炸
在这里插入图片描述

语音识别

如果对向量序列识别出多个好好好棒棒棒棒棒，然后进行重复字删除，那么会出现一个问题：如果识别“好棒棒”呢
在这里插入图片描述
出现了CTC的方法，对有些取null，提取的时候删除null，可解决这个问题
在这里插入图片描述

需要这样训练，全部的可能性？
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

ATTENTION 注意力

在这里插入图片描述
在这里插入图片描述
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a7nnDpxi-1586754964418)(C:\Users\10653\AppData\Roaming\Typora\typora-user-images\image-20200413130018731.png)]
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
可进行融合
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

h_astro
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
BiLSTM_RNN-LSTM_RNN_short_lstm神经网络_LSTM
09-11
41Long Short Term 网络—— 一般就叫做 LSTM ——是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 由Hochreiter & Schmidhuber (1997)提出，并在近期被Alex Graves进行了改良和推广。在很多问题，LSTM 都...
【ML学习笔记】LSTM模型运用——股票价格预测
sq13112521126的博客
03-10 2548
理论基础： RNN(Recurrent Neural Network) --- shortage: can't remember the memory long time ago. LSTM(Long Short Term Memory) ---- 衍生算法：attention, transformer. 相比较而言： LSTM多了一个标识为c(carry)的单元，可以理解为传送带。 传送带上的状态信息由遗忘门和输入门控制。 遗忘门：通过结合输入和激活函数，产出一个值(值大于0.5则输出1，
循环神经网络(RNN, Recurrent Neural Networks)介绍
热门推荐
我和我追逐的梦~~~
09-23 52万+
循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural N
ML.NET Features column 'Feature' not found 如何将预训数据模型 转化为 预测数据模型
Linyee编程专栏
07-02 266
https://github.com/dotnet/machinelearning/issues/3935https://social.msdn.microsoft.com/Forums/en-US/a9a45553-d26f-4964-9b84-81a6f1806754/mlnet-features-column-feature-not-found?forum=2212https://docs....
ML.NET 2- 预测出租车价格
我的英文站点：https://iorilan.medium.com/
12-02 1306
1. 预备测试数据 2. 加载模型 3. 训练 4. 预测 实现： TaxiFarePrediction.cs: using System; using System.Collections.Generic; using System.IO; using System.Text; using System.Threading.Tasks; using Microsoft.ML; using ...
ML-Framework：ML.NET 0.3 带来新组件
weixin_34405332的博客
07-09 146
  ML.NET在今年微软在Build 2018 会议上宣布的机器学习框架现已正式推出0.3版本 https://github.com/dotnet/machinelearning/releases/tag/v0.3.0 。Microsoft希望.NET开发人员能够设计自己的ML模型并将其集成到他们的应用程序中，而无需构建特定的专有技术，让AI技术平民化。ML.NET 0.3现在提供了许多用于训...
rnn.zip_LSTM MATLAB_LSTM-RNN_RNN-LSTM_rnn lstm_rnn matlab
07-15
作为刚开始研究RNN 的小白，可以看RNN和LSTM的ｍａｔｌａｂ程序，本人刚开始学习 ，把找到的资源分享给大家。
RNN_LSTM-master.zip_LSTM-MATLAB-master_RNN_RNN-LSTM-master_RNN_L
07-14
description de code RNN LSTM
TPA-LSTM-master_TPALSTM_TPA-LSTM_LSTM_LSTM时间序列_TPA
09-11
LSTM是循环神经网络（RNN）的一种变体，特别适合处理序列数据，因为它们能够记住长期依赖性。在时间序列预测中，LSTM通常被用来捕捉过去的模式并预测未来的趋势。 **LSTM结构详解** LSTM的核心是其单元状态，它允许...
TPA-LSTM-master_attention_attention-LSTM_attentionLSTM_TPA-LSTM_
09-11
1. **LSTM网络**：LSTM是一种特殊的RNN（循环神经网络），擅长处理序列数据，尤其是长期依赖问题。在多变量时间序列预测中，LSTM可以捕获各个变量之间的动态关系。 2. **注意力机制**：注意力机制源自自然语言处理...
【深度学习】数据增强基本介绍和常用的数据增强方法
F2ancisZ的博客
07-06 893
常用于深度学习模型的数据增强方法。包括传统基于图像处理的几何变换方法和基于GAN、领域自适应、主动学习等模型的方法。欢迎讨论。
深度学习中的超参数及超参数搜索算法
qlkaicx的博客
07-08 536
在深度学习中，超参数（Hyperparameters）是指在训练模型时需要预先设置的参数，它们不会在训练过程中自动更新，而是通过手动调整来优化模型的性能。超参数的设置对模型的训练效果有着至关重要的影响。
动手学深度学习（Pytorch版）代码实践 -循环神经网络-55循环神经网络的从零开始实现和简洁实现
李思成的博客
07-06 682
【代码】动手学深度学习（Pytorch版）代码实践 -循环神经网络-54~55循环神经网络的从零开始实现和简洁实现。
基于深度学习的高压线路巡线
weixin_42605076的博客
07-07 628
基于深度学习的高压线路巡线是一项通过无人机、机器人或固定摄像头等设备采集图像和视频数据，并利用深度学习技术自动检测和分析高压线路状态的技术。这项技术旨在提高巡检效率、降低人工成本和提升电力系统的安全性。
37.深度学习中的梯度下降法及其实现
qq_41238579的博客
07-10 466
梯度下降法（Gradient Descent）是一种常用的优化算法，广泛应用于机器学习和深度学习中。其基本思想是通过迭代更新参数，使得损失函数逐步减小，最终找到最优解。常见的梯度下降法包括随机梯度下降（SGD）、动量法（Momentum）、自适应学习率方法（Adagrad、RMSprop、Adadelta）和Adam等。本文通过代码实现详细展示了梯度下降法在二维和三维空间中的应用，并对比了多种优化器的效果。通过这些实践，我们能够更直观地理解梯度下降法的工作原理及其在深度学习中的应用。
深度学习 - 模型的保存与部署方式汇总
weixin_47552266的博客
07-06 1380
PyTorch 的默认保存格式，灵活支持保存整个模型、模型的权重和优化器状态。
动手学深度学习（Pytorch版）代码实践 -循环神经网络-51序列模型
李思成的博客
07-06 437
【代码】动手学深度学习（Pytorch版）代码实践 -循环神经网络-51序列模型。
Transformer——多头注意力机制（Pytorch）
最新发布
m0_52507142的博客
07-11 201
【代码】Transformer——多头注意力机制（Pytorch）
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值