【深度学习的骨架与脉搏】循环神经网络模型 · LSTM（呕心沥血版）

已于 2025-04-06 23:44:10 修改
阅读量1.5k 收藏 62
点赞数 72
CC 4.0 BY-SA版权
分类专栏： 《深度学习理论直觉三十讲》 文章标签： rnn lstm 人工智能
于 2025-02-24 10:54:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67656158/article/details/145756750

🌈 个人主页：十二月的猫-CSDN博客
🔥 系列专栏： 🏀《深度学习理论直觉三十讲》_十二月的猫的博客-CSDN博客

💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光 

目录

1. 前言

2. 循环神经网络模型

3. LSTM模型

3.1 对神经网络的思考

3.2 对连接的思考

3.3 对单层/多层网络结构的思考

3.4 对CNN的思考

3.5 对RNN的思考

3.6 梯度流过长导致的梯度消失/梯度爆炸问题

3.6.1 反向传播的总体观

3.6.2 反向传播的局部观

3.6.3 如何理解梯度流

3.7 LSTM 网络

4. LSTM 的核心思想

4.1 细胞状态（保持门）

4.2 遗忘机制（忘记门）

4.3 更新机制（输入门）

4.4 输出机制（输出门）

5. 总结

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【深度学习的骨架与脉搏】循环神经网络模型 · RNN（呕心沥血版）
十二月的猫
02-20 2428
在人工智能领域，尤其是处理时间序列数据和序列信息时，传统的神经网络往往无法有效捕捉到数据之间的时序关系。而循环神经网络（RNN）则应运而生，成为了解决这类问题的强大工具。RNN的独特之处在于，它能够通过“记忆”之前的输入信息，利用这种记忆来影响后续的决策，这使得它在语音识别、自然语言处理、股票预测等领域得到了广泛应用。
【深度学习的骨架与脉搏】注意力机制（四）（多头注意力机制）
十二月的猫
04-28 8235
前文，我们介绍了自注意力机制：自注意力的QKV是同源的。同源的好处就是更容易发现序列内部的信息，但是也存在一些可以改进的地方。例如：对于一个待分析的序列矩阵，它存在许多方面的特征。此时我们要用一个参数矩阵Wq、Wk去分析并学习出序列中的这么多特征。由于参数矩阵的维度是有限的，所以一次性学习多特征的信息必然会造成信息学习的模糊性，所以作者又提出了多头注意力机制下图为多头注意力机制模型图：它为注意力机制提供了多个投射子空间的可能。
论文综述—图神经网络用于医疗诊断的前世今生
haosen
06-30 3578
随着数据驱动的机器学习研究的进步，探索如何利用机器学习来分析医疗数据变得至关重要。现有方法的一个主要限制是人体生理信息的数据结构通常是不规则的和无序的，很难将这些数据网格化为易于分析处理的格式。而图表神经网络通过边连接交互节点，并可以将时间关联或解剖结构赋值给边的权重，能够很好地利用生物系统中的隐式信息做出医疗诊断，引起了广泛关注。 本文介绍图神经网络（GNN）用于医疗诊断和分析的一篇综述文章《Graph-Based Deep Learning for Medical Diagnosis and Anal
图神经网络用于医疗诊断的前世今生与未来-综述
yaohaishen的专栏
06-27 1605
论文：https://arxiv.org/abs/2105.13137 随着数据驱动的机器学习研究的进步，探索如何利用机器学习来分析医疗数据变得至关重要。现有方法的一个主要限制是人体生理信息的数据结构通常是不规则的和无序的，很难将这些数据网格化为易于分析处理的格式。而图表神经网络通过边连接交互节点，并可以将时间关联或解剖结构赋值给边的权重，能够很好地利用生物系统中的隐式信息做出医疗诊断，引起了广泛关注。 本文介绍图神经网络（GNN）用于医疗诊断和分析的一篇综述文章《Graph-Based Deep Le
从Transformer到ChatGPT：大模型技术原理全景拆解——零基础也能看懂的核心逻辑
weixin_52610848的博客
07-17 950
《从Transformer到ChatGPT：大模型技术原理全景拆解》一文深入解析了大模型的发展历程与核心技术。文章指出，大模型的本质在于"智能涌现"，而非简单的参数堆砌。从2017年Transformer架构突破RNN局限，到2022年ChatGPT通过RLHF实现人机自然交互，大模型经历了五次关键跃迁。核心技术Transformer的自注意力机制和多头注意力设计，使模型能动态捕捉语义关联。文章强调，大模型的智能源于从海量数据中提炼语言、逻辑和任务规律，而非单纯记忆。当前大模型正从专项工
Python深度学习：从入门到精通
YunWisdom
07-21 1530
亲爱的读者，欢迎您翻开这本书。我们即将探索的，是深度学习的宇宙——一个由数据、算法与算力构筑的奇妙世界。它既是严谨的科学，也是创造的艺术，更是一条通往未来智慧的修行之路。本书将带您从最基础的数学原理出发，亲手搭建神经网络，驾驭Transformer等前沿模型，最终将智慧转化为现实世界的价值。请放下畏惧，保持好奇。这不仅是一次知识的学习，更是一场思维的远行。来，随我一起，开启这趟非凡的旅程吧。
20、高效深度学习方法在健康信息学中的应用与挑战
app77的博客
09-15 4
本文综述了深度学习在健康信息学中的应用与挑战，涵盖了受限玻尔兹曼机、深度信念网络、卷积神经网络和循环神经网络等主流方法，并探讨其在生物信息学、临床成像、电子健康记录、基因组学及移动健康设备中的实际应用。文章分析了当前面临的三大挑战：模型选择与解释困难、大规模数据需求以及对医学专业知识的依赖，并提出了相应的应对策略，如建立模型选择指南、加强可解释性研究、数据共享与增强、跨学科合作等。最后，展望了多模态数据融合、联邦学习和强化学习等未来发展趋势，强调深度学习在提升医疗服务质量方面的巨大潜力。
【玩转深度学习】手把手带你实战迁移学习
十二月的猫
04-28 1422
《玩转深度学习：手把手带你实战迁移学习》课程带你解锁AI高效开发新姿势！通过5大实战案例（图像识别、文本分类等），从零掌握迁移学习核心技巧：使用Alex等预训练模型，快速适配医疗影像分析、智能客服等场景；详解特征提取、模型微调、领域适配三大法宝，教你用PyTorch将预训练模型知识迁移到小数据集任务，训练效率提升10倍！助你轻松解决数据不足、算力有限的痛点，玩转AI模型复用的艺术。
AI真的能理解我们这个现实物理世界吗？深度剖析原理、实证及未来走向
专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域，希望和大家共同进步！
01-12 1063
摘要：当下，AI 与深度学习广泛渗透生活各领域，大模型与海量数据加持下，其是否理解现实物理世界引发热议。文章开篇抛出疑问，随后深入介绍 AI 深度学习基础，包含神经网络架构、反向传播算法。继而列举 AI 在物理场景识别、实验数据分析中显露的 “理解” 迹象，也点明常识性错误、极端场景失效这类反例。从信息论、物理启发式算法剖析理论支撑，探讨融合物理知识路径，并延展至跨学科应用、评估维度、伦理社会问题，最终展望 AI 与物理深度融合的前景。
大模型——OpenAI上线购物Agent，AI早已改写电商逻辑
10-01 968
OpenAI推出Instant Checkout功能，用户可直接在ChatGPT界面完成Etsy和Shopify商家购物，这标志着AI正深刻改变电商逻辑。沃尔玛、Shopify等企业已布局AI电商多年，实现了从"搜索电商"到"对话电商"再到"情景电商"的转变。AI通过理解用户需求场景提供个性化解决方案，弱化了传统电商平台的搜索功能与中心化流量价值。Shopify构建"AI可读"数据网络和智能体Sidekick，赋能商家应对碎片化
OpenCV 特征检测与描述
pxxzhk的博客
09-30 1692
本文系统介绍了计算机视觉中的特征检测与描述技术。主要内容包括：1）核心概念：特征检测（提取关键点）、特征描述（计算描述符）和特征匹配（关键点对应）；2）典型应用场景：图像拼接、目标识别、3D重建和实时跟踪；3）常用算法比较：详细对比了SIFT、SURF、ORB等算法的特点及适用场景；4）技术实现：通过OpenCV代码示例演示了角点检测（Harris/Shi-Tomasi）、特征点检测（SIFT/SURF/ORB）以及特征匹配（BFMatcher/FLANN）的实现方法；5）匹配优化：介绍了基于距离和几何约束
AI与现代数据科学的融合
m0_65595995的博客
10-03 844
AI与现代数据科学的融合，确实正在重塑我们理解和利用数据的方式。为了帮你快速把握AI如何赋能数据科学的各个环节，下面这个表格汇总了核心的应用领域和关键AI技术。
基于ROM的神经网络训练
2201_75375391的博客
10-02 576
摘要：基于降阶模型(ROM)的神经网络训练为新能源汽车热管理系统提供了高效仿真方案。通过SimcenterROM软件，将蒙特卡洛仿真数据分组处理后导入，选择神经网络方法进行训练，自动生成多组候选模型并评估精度。最优模型为含两层隐藏层(15/7个神经元)的全连接网络，采用tanh激活函数。训练完成后可导出为FMU等标准格式用于系统仿真。关键注意事项包括：数据变量名称一致、训练/验证集比例8:2-7:3、各组数据量均衡等。该方法显著提升了仿真速度，同时保持计算精度。
【大模型LLM面试合集】有监督微调_lora
chen695969的博客
09-30 1024
LoRA系列方法通过低秩分解实现大模型高效微调。LoRA利用降维矩阵模拟参数更新，显著减少参数量；AdaLoRA动态分配参数预算，基于重要性评分调整矩阵秩；QLoRA结合4bit量化与适配器微调，在保证性能的同时降低显存消耗。实验表明，这些方法在不同任务中均能媲美全量微调效果，且QLoRA首次实现4bit量化下的无损微调。这些技术为大规模语言模型的高效适配提供了实用解决方案。
Product Hunt 每日热榜 | 2025-10-03
LaughingZhu的博客
10-04 733
Product Hunt 每日热榜 | 2025-10-03 厌倦了复杂的自动化工具吗？Instruct是首个真正无代码的平台，你只需用自然语言来构建、编辑和运行强大的AI代理——只需简单地说明你的任务，让Instruct来处理其余的工作。
告别传统监控：基于Unity+IoT打造沉浸式数字孪生车间
2401_87844374的博客
09-30 1802
在传统制造车间里，监控往往意味着布满墙壁的二维屏幕，密密麻麻的数据报表，以及需要专业人员才能解读的复杂图表。操作人员需要在这些海量信息中寻找关键数据，如同在茫茫大海中捞针。然而，这一场景正在发生革命性变化。根据ABI Research的研究数据，到2027年，全球将有超过20%的制造企业部署数字孪生技术，其中基于游戏引擎和物联网结合的解决方案正成为主流选择。这种结合不仅改变了我们监控生产的方式，更重新定义了人与设备之间的交互模式。
全球资本开支激增，就业增长停滞：AI时代的双刃剑
2503_92849254的博客
09-29 984
AI不是一个单纯的技术潮流，而是一次深刻的经济结构转型。在这场转型中，企业既需要拥抱AI投资，又必须谨慎控制风险。而像MateCloud这样的技术基础设施提供商，或许正是企业在“AI时代”中实现平衡发展的关键伙伴。AI时代已经到来，真正的挑战不是要不要投，而是如何投、投在哪、怎么收获。
第八课（零基础友好版）｜第一次训练模型（Teachable Machine，超详细）
最新发布
gs80140的专栏
10-04 24
本教程为零基础学习者提供使用Teachable Machine训练图像分类模型的详细指南。课程时长80-100分钟，仅需浏览器和摄像头即可完成。主要内容包括：项目创建、数据采集（建议每类50-80张包含不同角度/光线/背景的样本）、模型训练与测试、改进方法（针对易错样本补充数据）以及模型保存（在线链接或离线包）。特别强调隐私安全注意事项，建议只拍摄手势/物体，避免录入人脸或个人隐私信息。完成课程后，学习者将掌握完整模型训练流程，获得可用于后续项目的模型链接，为"手势贴纸相机"等应用开发奠
模拟退火算法：从金属退火到全局优化
拒绝AI玄学，只聊真技术▲
10-04 491
模拟退火算法的名称和灵感来源于冶金学中的退火过程🤔。在金属加工中，退火是将材料加热到高温后再以控制的速度缓慢冷却的工艺过程。这一过程的目的是增大金属晶粒的体积，减少晶格中的缺陷，从而改变材料的物理性质。在退火过程中，金属中的原子最初会停留在使内能有局部最小值的位置。加热使原子能量增大，它们会离开原来位置随机在其他位置移动。缓慢冷却时，原子有更多机会找到内能比原先更低的位置。系统状态⇨优化问题的解系统能量⇨目标函数值温度参数⇨控制搜索过程的随机性程度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

十二月的猫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值