【机器学习核心总结】什么是长短时记忆网络(LSTM)

最新推荐文章于 2024-10-12 16:55:46 发布
最新推荐文章于 2024-10-12 16:55:46 发布
阅读量193 收藏 1
点赞数 1
分类专栏： 机器学习 深度学习 文章标签： 机器学习 lstm 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RuanJian_GC/article/details/131547426
版权
长短时记忆网络(LSTM)为解决RNN的短期记忆问题而设计，通过遗忘门、输入门和输出门实现信息的选择性保留。LSTM能够平衡短期和长期依赖，其变体包括GRU，具有简洁的结构和高效的计算性能。
摘要由CSDN通过智能技术生成

什么是长短时记忆网络(LSTM)

RNN有一定的记忆能力，但不幸的是它只能保留短期记忆，在各类任务上表现并不好，那该怎么办?

人们将目光投向了自己，人类的记忆是有取舍的，我们不会记住每时每刻发生的所有事，会有选择的留下重要的，丢掉不重要的。

参考这种记忆机制，人们改造了RNN中使用的“小盒子”，并找到了“门”这种机制，门是用来决定信息如何保留的小开关，它的数值在0-1之间，1是完全保留，0是完全舍弃。

新的小盒子上有三个门

  1. 其中遗忘门决定了小盒子里要保留多少原有信息，也就是丢掉哪些不重要记忆
  2. 输入门决定了当前网络信息有多少要被保存到小盒子里，也就是记住哪些新东西
  3. 输出门决定了多大程度的输出小盒子中的信息

经过改造的小盒子，既能通过输入门对当前网络状态有所了解，又能利用遗忘门留下过往的重要信息，这就是LSTM-长短时记忆模型。

请添加图片描述

通过改变小盒子的结构，LSTM还有很多变体，如MGU、SRU。

不过最受欢迎的还是门控循环单元

了解本专栏 订阅专栏 解锁全文 超级会员免费看
coder ᅟᅠ
关注
专栏目录
订阅专栏
【数据分析】利用机器学习算法进行预测分析（六）：长短时记忆网络（LSTM）
书山有路，学海无涯。记录成长，追逐梦想
01-22 1万+
长短期记忆（Long Short-Term Memory，LSTM）是一种在深度学习领域中使用的人工循环神经网络（RNN）架构。与标准前馈神经网络不同，LSTM具有反馈连接。它不仅可以处理单个数据点（例如图像），而且可以处理整个数据序列（例如语音或视频）。...
长短时记忆网络 (LSTM) 原理与代码实例讲解
AI天才研究院
06-04 914
长短时记忆网络 (LSTM) 原理与代码实例讲解 1. 背景介绍 1.1 深度学习的发展历程 1.1.1 人工神经网络的起源 1.1
深度理解机器学习18-长短期记忆网络
clayhell的博客
02-16 1218
长短期记忆网络
长短时记忆网络(LSTM)(超详细 |附训练代码)
热门推荐
qq_73462282的博客
08-02 6万+
那么，从这个时刻开始再往之前走，得到的梯度（几乎为零）就不会对最终的梯度值有任何贡献，这就相当于无论t-3时刻之前的网络状态h是什么，在训练中都不会对权重数组W的更新产生影响，也就是网络事实上已经忽略了t-3时刻之前的状态。由于遗忘门的控制，它可以保存很久很久之前的信息，由于输入门的控制，它又可以避免当前无关紧要的内容进入记忆。LSTM的前向计算都这么复杂，那么，可想而知，它的训练算法一定是非常非常复杂的。从上面的代码我们可以看到，门的计算都是相同的算法，而门和的计算仅仅是激活函数不同。
机器学习——长短期记忆（LSTM）
beiye_的博客
03-20 7372
机器学习——长短期记忆（LSTM）
机器学习与深度学习系列连载： 第二部分 深度学习（二十二) 机器记忆 Machine Memory
Doctor Wu的博客
11-15 693
机器记忆 Machine Memory 我们已经讨论过Attention机制，基于注意力机制，我们继续讨论 Memory Network。 1. 外部存储 我们进行DNN或者RNN之前，数据可以用Readiing controller 从外部读取进来。 Ref: http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/At...
机器学习笔记（一）概率论基础
王大宝的CD
01-12 3676
机器学习基础之概率论相关内容，介绍了概率论中最常用的一些概，各种机器学习常用的分布，以及概率的运算。
长短时记忆网络LSTM原理与代码实例讲解
AI天才研究院
05-28 288
1.背景介绍 在深度学习领域，一种被广泛应用的神经网络结构是循环神经网络（RNN）。RNN在处理序列数据（如时间序列、文本、语音等）时表现出色，因为它们可以利用先前的信息来影响后续的输出。然而，RNNs有一个主要的缺点，那就是它们在处理长序列时会遇到梯度消失或梯度爆炸的问题。这就是长短时记忆网络（LSTM）的起源。 LSTM是一种特殊类型
人工智能（8 ）机器学习2
m0_62703957的博客
05-28 1026
目录 一、概述 二、记忆学习 三、归纳学习 四、决策树学习 五、类比学习 一、概述 机器学习是人工智能的重要研究领域之一。 1.机器学习的基本概念 要了解么是机器学习，就要从人类的“学习”说起可以说人们每天都在学习，可是终究什么是学习，至今都没有一个统一的定义。以下是关于学习且比较有影响的定义： 1) 西蒙认为，学习就是系统中的适应性变化，这种变化使系统在重复同样工作或类似工作时，能够做得更好 2) 米哈尔斯基认为，学习是对经历描述的建议和修......
像背单词一样搞定机器学习关键概念！机器学习通关（1）
weixin_49898607的博客
11-02 129
机器学习是一个集合了计算机、统计学和数学知识的交叉领域，其专业术语和概念非常多。单纯地去记忆，知识不成体系，且容易忘记。 除了日常练习，也需要很多枯燥的记忆和理解。单纯读书不容易串联概念，又容易忘记。看了无数次机器学习术语，还是记不住什么是大O算法，什么是分不清AIC、AUC、AOC😂 “如何高效学习机器学习关键概念？”机器学习网红Chris Albon博士的小抄表（cheatsheet／flashcards）可以帮到你。 Chris 是一位很有热情的机器学习从业者、数据科学家，也是初创公司NewKnow
【机器学习】长短时记忆网络（LSTM）
weixin_42301220的博客
04-21 7427
文章目录1. 基本概念2. 长短时记忆网络的前向计算2.1 门2.2 遗忘门 1. 基本概念 长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 原始RNN无法处理长距离依赖，原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。 长短时记忆网络在RNN的基础上再增加一个状态c，让它来保存长期的状态。 新增加的状态c，称为单元状态(cel
我在机器学习踩过的坑，现在告诉你怎么跳过去
weixin_30614109的博客
09-01 415
我在机器学习踩过的坑，现在告诉你怎么跳过去 https://mp.weixin.qq.com/s/ko3WtQqilQ-7-H9vRZHdlg 大家好，我是为人造的智能操碎了心的智能禅师。 最近很多读者问本禅师： 转行机器学习需要注意哪些事情呢？ 我想学习机器学习，需要学习哪些知识呢？ 机器学习如何避免走弯路呢？ 本禅师表示非常理解大家的需求。 人工智能（其实本禅...
谈谈机器学习的演化史与应用趋势
Jason的专栏
07-24 7418
AI 如何能成为商业的主流？这需要不同研究方法的结合，以及大量人类的智慧。 我们正处在 AI 取得突破性进展的时代：更为复杂的神经网络伴着有效的语音识别训练数据将亚马逊的 Echo 和谷歌的 Home 带进了千家万户。深度学习在图像、语音和其他模式识别中取得的准确度提升使得微软和谷歌的机器翻译被更多人使用。图像识别的增强使 Facebook 的照片搜索和谷歌照片中的 AI 相关功能得以实现。总体
[转] 介绍深度学习和长期记忆网络
heiyeluren的blog（黑夜路人的开源世界）
09-07 8067
机器学习和深度学习~
Machine Learning Specialization 学习笔记（5）
qq_41136689的博客
10-08 1146
博客仅记录个人学习进度和一些查缺补漏。学习内容：BV1Bq421A74G。
2 机器学习之基本术语
此博客内容主要是小可日常工作中的一些问题解决的记录整理而成
10-11 670
这组记录的集合称为一个“数据集”(data set)，其中每条记录是关于一个事件或对象（这里是一个西瓜）的描述，称为一个“示例”(instance)或“样本”(sample)反映事件或对象在某方面的表现或性质的事项，例如“色泽”​“根蒂”​“敲声”​，称为“属性”(attribute)或“特征”(feature)；xid)是d维样本空间中的一个向量，xi∈，其中xij是xi在第j个属性上的取值（例如上述第3个西瓜在第2个属性上的值是“硬挺”​）​，d称为样本xi的“维数”(dimensionality)。
机器学习Python实战-第三章-分类问题-2.逻辑回归算法
最新发布
Hdejac的博客
10-12 1185
逻辑回归算法详解以及实验源码。
机器学习笔记（五）--神经网络
weixin_43899239的博客
10-08 911
神经元接收来自其他n个神经元传递过来的信号，这些信号通过有权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行对比，通过激活函数的处理产生神经元的输出。
线性回归损失函数的推导
qq_72175463的博客
10-08 1080
此损失函数是均方误差损失的一种形式，广泛应用于线性回归等模型中。通过这种方式，我们既可以有效地表示损失，也可以在模型优化时更容易计算梯度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

coder ᅟᅠ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值