【23-24 秋学期】NNDL 作业11 LSTM

已于 2023-12-14 12:00:39 修改
阅读量519 收藏
点赞数 3
分类专栏： NNDL作业[2023-2024秋] 文章标签： lstm 机器学习 人工智能
于 2023-12-04 13:48:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38975453/article/details/134782034
版权

习题6-4  推导LSTM网络中参数的梯度， 并分析其避免梯度消失的效果

习题6-3P  编程实现下图LSTM运行过程

同学提出，未发现h_{t-1}输入。可以适当改动例题，增加该输入。

实现LSTM算子，可参考实验教材代码。

1. 使用Numpy实现LSTM算子

2. 使用nn.LSTMCell实现

3. 使用nn.LSTM实现

 李宏毅机器学习笔记：RNN循环神经网络_李宏毅rnn笔记_ZEERO~的博客-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/weixin_43249038/article/details/132650998

L5W1作业1 手把手实现循环神经网络-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/segegse/article/details/127708468

HBU_David
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
nndl-book邱锡鹏.pdf
05-16
邱锡鹏神经网络与深度学习，非常好的深度学习教材，与nlp技术相结合
NNDL 作业11 LSTM
qq_62572945的博客
12-18 881
1. 这次作业感悟最大的是对于LSTM反向传播的推导过程，推导过程我听了清晰图解LSTM、BPTT、RNN的梯度消失问题_哔哩哔哩_bilibili和5.LSTM如何缓解梯度消失（公式推导）_哔哩哔哩_bilibili这两个视频讲解，第一个视频主要是讲解LSTM解决梯度消失的原因，对LSTM的过程进行了动图演示，公式主要参考第二个视频的讲解明白了公式的来龙去脉，根据讲解画出了反向传播的路径图并写出了推导公式。2.关于第二问的代码我参考了DL Homework 11-CSDN博客和。
实验环境5-1所需要的nndl包
10-28
实验环境5-1所需要的nndl包
-NNDL-
03-21
-NNDL-
2018-Springer-Aggarwal@IBM-NNDL-p512-（好书可作为课本）.pdf
07-15
IBM 研究员Aggarwal 2018年出版的深度学习书，比goodfellow&Bengio那本要精简一些，512页，供参考。
神经⽹络与深度学习nndl-ebook.zip
05-14
从浅层的神经网络，循序渐进过度到深层的深度神经网络
【机器学习】L1、L2正则化
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
05-18 594
L1正则化能够通过使模型稀疏化达到降低模型复杂度的作用。这种稀疏化特性使它能够作为一种特征选择策略，适合在高维且特征相关性不强的场景中使用。 L2正则化能够通过将各项权重系数优化的很小达到降低模型复杂度的目的。它能够减少单个特征的在模型中的作用，避免某个特征主导整个预测方向。L2正则化项是可微的，优化计算效率更高，适合处理低维且特征间具有强相关性的场景。
机器学习中的监督学习与非监督学习
gygkhd的博客
05-14 694
监督学习是一种利用已知标签的数据来训练模型的方法。其基本思想是通过已标记的训练数据来学习输入变量（特征）与输出变量（标签）之间的映射关系。模型在训练过程中会不断调整参数，使得预测值尽可能接近真实值。监督学习主要用于分类和回归任务。非监督学习是一种在没有标签的数据上进行训练的方法。其主要目标是发现数据的内在结构和模式，而不依赖于预先定义的标签。非监督学习主要用于聚类和降维任务。监督学习和非监督学习是机器学习中的两大基本方法，各自有着不同的应用场景和特点。
机器学习中表格数据预处理
weixin_63001635的博客
05-13 947
当数据(x)按照最小值中心化后，再按极差（最大值 - 最小值）缩放，数据移动了最小值个单位，并且会被收敛到[0,1]之间，而这个过程，就叫做数据归一化(Normalization，又称Min-Max Scaling)。如果要分训练集和测试集，则对训练集进行fit，即求 min(x) 和 max(x) ，对训练接和测试集进行transform，即二者都使用训练集的 min(x) 和 max(x) 进行归一化。这样的变化，让算法能够彻底领悟，原来三个取值是没有可计算性质的，是“有你就没有我”的不等概念。
机器学习：葡萄酒品质预测
weixin_63001635的博客
05-11 790
用下面模型复杂度和泛化误差的关系这张图来看，限制max depth，是让模型变得简单，把模型向左推，而模型整体的准确率下降了，即整体的泛化误差上升了，表明此时我们的模型处在泛化误差最低点的左边（一般来说过拟合才正常，但此时是一个欠拟合的状态）。为了方便，我将数据集中的标签重新映射为从0开始的数，然后进行模型的训练和预测。在这个阶段，我采用了多种机器学习算法，然后对不同算法模型的准确率结果进行了比较，通过交叉验证的结果来评估不同模型之间的性能和优劣，最后选用性能较好的模型进行调参处理，以求增加模型的性能。
“Python+”集成技术高光谱遥感数据处理与机器学习深度应用
zkzhzy的博客
05-17 774
结合Python编程工具，专注于解决高光谱数据读取、数据预处理、高光谱数据机器学习等技术难题，通过复现高光谱数据处理和分析过程，并解析代码，使大家掌握python高光谱数据处理技巧。通过矿物识别、农业应用、木材含水量提取、土壤有机碳评估等案例，提供可借鉴的高光谱应用技术方案，结合Python科学计算、可视化、数据处理和机器学习库，深入讲解应用开发
Python 机器学习 基础 之 无监督学习 【预处理 / 缩放】的简单说明
仙魁XAN
05-17 874
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
如何理解机器学习中的端到端
不才的专栏
05-18 205
来训练模型，因为模型需要从数据中学习到所有的特征和规律。其次，端到端模型通常比较复杂，需要更多的计算资源和时间来训练。最后，由于模型是自动学习的，因此可能会导致模型的可解释性较差，难以理解模型的决策过程。端到端机器学习的优势在于它可以自动化整个流程，减少人工干预，提高效率。同时，由于模型可以从原始数据中直接学习，因此有可能发现人类无法察觉的模式和特征，从而提高模型的性能。总的来说，端到端机器学习是一种强大的方法，可以自动化整个机器学习流程，并且有可能提高模型的性能。然而，端到端机器学习也存在一些缺点。
Python 机器学习 基础 之 监督学习 [朴素贝叶斯分类器] / [决策树] 算法 的简单说明 / [graphviz] 绘制决策树
仙魁XAN
05-14 884
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
智能决策引擎架构设计
猫七姑娘的小博客
05-15 1428
智能决策引擎系统是在大数据支撑下，根据行业专家经验制定规则策略、以及机器学习/深度学习/AI领域建立的模型运算，对当前的业务进行全面的评估，并给出决策结果的一套系统。一套商业决策引擎系统动辄百万而且需要不断加钱定制，大多数企业最终仍会走上自研道路，市场上有些开源规则引擎项目可参考，比较出名的开源规则引擎有drools、urule，都是基于Rete算法，都是基于java代码实现，一些企业会进行二次开发落地生产。而这类引擎功能强大但也比较“笨重”，易用性以及定制性并不够好，对其他语言栈二次开发困难。
RANSAC算法概述
最新发布
点云侠的博客
05-20 431
RANSAC算法概述
使用多实例学习进行乳腺癌组织病理学图像分类和定位
qq_47896523的博客
05-16 1097
乳腺癌是女性最主要的死亡原因，病理学家根据病理切片中观察到的各种视觉特征（例如细胞核的形态特征、细胞核的微观和宏观结构等）做出决定。计算机辅助诊断（CAD）系统可以帮助病理学家自动做出决策。卷积神经网络是最广泛使用的深度学习框架，用于学习图像类别之间的复杂判别特征。多年来，VGG16 [3] 和 ResNet18 [4] 等各种 CNN 架构在海量 ImageNet 数据集上产生了出色的结果。CNN 被用于医学图像以产生最先进的结果。为图像中存在的所有类别提供了定位信息。
2024第二届全国人工智能应用场景创新挑战赛
audyxiao001的博客
05-14 784
本文从竞赛模式、参赛组别和条件、参赛注意事项以及赛程设置四个角度介绍了第二届全国人工智能应用场景创新挑战赛，并给出大赛官网，以便读者了解更多详细信息。
nndl-book是什么
06-28
### 回答1： nndl-book是指《自然语言处理综述》一书，它是由计算机科学领域的权威学者Christopher Manning和Hinrich Schütze共同编写的一本综述自然语言处理技术的教材。这本书首次出版于1999年，现已有第二版和第三版。nndl-book的内容广泛而深入，涵盖了自然语言处理领域的基础知识和最新进展，包括文本处理、语法分析、语义理解、信息检索、机器翻译等等方面。此外，书中还涉及了许多实用的技术和算法，比如条件随机场、最大熵模型、词向量和深度学习等。nndl-book的读者群体包括学术界和工业界的研究者、开发者和学生，也适合对自然语言处理领域感兴趣的读者学习。总之，nndl-book是自然语言处理领域的一本重要的参考书籍，它为我们深入了解自然语言处理的技术和应用提供了宝贵的指导。 ### 回答2： NNDL-Book是一个著名的Python深度学习库，它是一个开源项目，由加拿大多伦多大学教授Geoffrey Hinton和他的学生Alex Krizhevsky等人创建。NNDL-Book在计算机视觉、自然语言处理和语音识别等领域得到广泛应用，它提供了丰富的神经网络模型和算法，包括卷积神经网络（CNN）、循环神经网络（RNN）和长短时记忆网络（LSTM）等。此外，NNDL-Book还提供了多种数据处理工具和训练技巧，以帮助开发者更高效地构建和训练深度学习模型。总的来说，NNDL-Book是深度学习领域的重要工具之一，对于帮助人们在各种应用场景中实现AI自动化，提高效率和精度都有很大的帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值