跟李沐学AI：长短期记忆网络LSTM

最新推荐文章于 2024-10-10 11:54:20 发布
最新推荐文章于 2024-10-10 11:54:20 发布
阅读量707 收藏 2
点赞数 7
文章标签： 人工智能 lstm rnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Landy_Jay/article/details/142147893
版权

输入们、遗忘门和输出门

LSTM引入输入门、忘记门和输出门

输入门计算公式为：\sigma(X_tW_{xi}+H_{t-1}W_{h1}+b_i)。

遗忘门计算公式为：\sigma(X_tW_{xf}+H_{t-1}W_{hf}+b_f)。

输出门计算公式为：\sigma(X_tW_{xo}+H_{t-1}W_{ho}+b_o)。

 它们由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、遗忘门和输出门的值。 因此，这三个门的值都在(0,1)的范围内。

候选记忆元

类似RNN中的H_t，计算公式为：\widetilde{C_t}=tanh(X_tW_{xc}+H_{t-1}W_{hc}+b_c)。

记忆元

LSTM中，输入门和遗忘门类似GRU中控制输入或遗忘的机制。输入们用于控制采用多少来自\widetilde{C_t}的新数据，遗忘门用于控制保留多少过去的记忆元C_{t-1}的内容。随后按元素乘法，得出C_t=F_t\odot C_{t-1} + T_t\odot \widetilde{C_t}。

如果遗忘门始终为1且输入门始终为0， 则过去的记忆元Ct−1 将随时间被保存并传递到当前时间步。 引入这种设计是为了缓解梯度消失问题， 并更好地捕获序列中的长距离依赖关系。

隐状态 

LSTM中，输出门用于计算隐状态：H_t=O_t \odot tanh(C_t)。只要输出门接近1，我们就能够有效地将所有记忆信息传递给预测部分， 而对于输出门接近0，我们只保留记忆元内的所有信息，而不需要更新隐状态。

Landy_Jay
关注
AI人工智能深度学习算法：在航空航天中的应用
AI大模型应用之禅
08-21 81
AI人工智能深度学习算法：在航空航天中的应用 1. 背景介绍 1.1 问题的由来 航空航天工业是当今世界科技竞争的焦点之一，其核心技术和产品对国家安全、经济发展具有重要意义。随着人工智能和深度学习技术的快速发展，AI在航空航天领域的
『NLP学习笔记』长短期记忆网络LSTM介绍
AI新视界
03-15 2291
长短期记忆网络的设计灵感来自于 计算机的逻辑门。 长短期记忆网络引入了 记忆元(memory cell)，或简称为 单元(cell)。
李沐57_长短期记忆网络LSTM——自学笔记
Rrrrrr900的博客
04-23 587
初始化模型参数：超参数num_hiddens定义隐藏单元的数量。我们按照标准差0.01的高斯分布初始化权重，并将偏置项设为0。定义模型：长短期记忆网络的隐状态需要返回一个额外的记忆元， 单元的值为0，形状为（批量大小，隐藏单元数）。训练和预测：引入的RNNModelScratch类来训练一个长短期记忆网络。实际模型的定义与我们前面讨论的一样： 提供三个门和一个额外的记忆元。2.输入门：决定不是忽略掉输入数据。3.输出门：决定是不是使用隐状态。1.忘记门：将值朝着0减少。首先加载时光机器数据集。
动手学深度学习-笔记-跟李沐学AI
CSPhD-winston的博客
12-02 1006
CSV全称：Comma-Separated Values。·# 62 序列到序列学习（seq2seq）
动手学深度学习9.2. 长短期记忆网络（LSTM）-笔记&练习（PyTorch）
scdifsn的博客
10-08 1136
李沐老师《动手学深度学习（PyTorch版）》9.2. 长短期记忆网络（LSTM）-笔记&练习详解
【动手学深度学习】李沐——循环神经网络
FavoriteStar的博客
11-04 1763
关于李沐老师的【动手学深度学习】课程其中的循环神经网络章节的学习记录，包括完整代码的解释及个人见解。
人工智能小白必读：一份超详细的AI学习路线图！
Trb201012的博客
04-22 6841
哈喽~ 大家好！今天为大家带来一份史无前例的人工智能学习路线。大家都喜欢看修仙小说吧，修仙小说中的修仙等级：炼气、筑基、金丹等各种境界，更是引人入胜。今天，小编将AI学习路线和修仙故事巧妙地融合在一起，通过修仙等级来形象地展示人工智能在不同阶段的学习和成长。不过本人能力有限，如果存在不足之处，欢迎大家在评论区进行沟通交流。共同学习，共同进步。
李沐动手学深度学习V2-RNN循环神经网络原理
flyingluohaipeng的博客
06-23 1555
前面博文介绍了nnn元语法模型，其中单词xtx_txt​在时间步ttt的条件概率仅取决于前面n−1n-1n−1个单词。对于时间步t−(n−1)t-(n-1)t−(n−1)之前的单词，如果想将其可能产生的影响合并到xtx_txt​上，需要增加nnn，导致模型参数的数量也会随之呈指数增长，因为词表V\mathcal{V}V需要存储∣V∣n|\mathcal{V}|^n∣V∣n个数字，因此与其将P(xt∣xt−1,…,xt−n+1)P(x_t \mid x_{t-1}, \ldots, x_{t-n+1})P(x
动手学深度学习-（李沐）PyTorch版本
weixin_64338372的博客
04-04 8878
《动手学深度学习》PyTorch版本和TendorFlow版本（内有所有代码和PDF版下载地址）
动手学深度学习课程作业和答案
03-21
5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：为了解决RNN中的梯度消失和爆炸问题，LSTM引入了门控机制，能更好地捕捉长期依赖关系。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：...
基于Keras的U-Net模型在图像分割与计数中的应用
深度学习实战训练营，一起交流探索深度学习
10-04 1719
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
阿利同学的博客
10-07 1462
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
线性判别器LDA
最新发布
qq_52421831的博客
10-10 1015
LDA是一种有监督的降维方法，和它比较类似的是PCA(一种无监督的降维方法)
北大对齐团队深度硬核解读：OpenAI o1开启「后训练」时代强化学习新范式
ys707663989的博客
10-06 2434
本文深入探讨了OpenAI o1的技术细节、的实现、合成数据与推理搜索的优化，以及AI安全的新启示，展示了大语言模型在推理能力提升和安全对齐方面的最新进展与未来方向。
【AIGC】2022-NIPS-视频扩散模型
weixin_42475026的博客
10-04 1320
生成时间连贯的高保真视频是生成模型研究的一个重要里程碑。我们提出了一种视频生成扩散模型，并取得了非常有希望的初步结果，朝着这一里程碑迈进了一步。我们的模型是标准图像扩散架构的自然延伸，它能够从图像和视频数据进行联合训练，我们发现这可以减少小批量梯度的方差并加快优化速度。为了生成长视频和高分辨率视频，我们引入了一种新的条件采样技术，用于空间和时间视频扩展，其性能优于以前提出的方法。我们展示了大型文本条件视频生成任务的第一批结果，以及视频预测和无条件视频生成的既定基准的最新结果。
【进阶OpenCV】 （6）--指纹识别
m0_74896766的博客
10-06 1551
本篇介绍了，如何将源图像指纹同指纹库中的指纹进行匹配，并得到的对应指纹的信息。
pytorch版本和cuda版本不匹配问题
分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。
10-06 572
发现cuda11.8支持pytorch2.0.0。
跟李沐学ai安装pytorch
10-15
要安装PyTorch，可以按照以下步骤进行： 1. 确认已经安装了Python环境，建议使用Python 3.6或以上版本。 ... 3. 根据官网提供的命令，使用pip或conda安装PyTorch。 例如，如果要安装PyTorch 1.9.0版本，CUDA 11.1版本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值