百面机器学习总结笔记（第十章 循环神经网络）

最新推荐文章于 2022-10-24 15:56:33 发布
最新推荐文章于 2022-10-24 15:56:33 发布
阅读量311 收藏
点赞数
分类专栏： 算法岗面试笔试准备
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Avery123123/article/details/104592208
版权

百面机器学习总结笔记（第十章 循环神经网络）

百面机器学习总结笔记

第十章 循环神经网络

在这里插入图片描述
场景描述
在这里插入图片描述
知识点
梯度消失 梯度爆炸

问题 循环神经网络为什么会出现梯度消失或者梯度爆炸？有哪些改进方案？
分析与解答
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

循环神经网络中的激活函数

场景描述
在这里插入图片描述
知识点
ReLU 循环神经网络 激活函数

问题 在循环神经网络中能否使用ReLU作为激活函数？

分析与解答
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

长短期记忆网络

场景描述
在这里插入图片描述
知识点
LSTM 门控 激活函数 双曲正切函数 Sigmoid函数

问题1 LSTM是如何实现长短期记忆功能的？

分析与解答
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
问题2 LSTM里各模块分别使用什么激活函数，可以使用别的激活函数吗？

分析与解答
在这里插入图片描述
在这里插入图片描述

Seq2Seq模型

场景描述
在这里插入图片描述
知识点
Seq2Seq 机器翻译 集束搜索（Beam Search）

问题1 什么是Seq2Seq模型？Seq2Seq模型有哪些优点？

分析与解答
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
问题2 Seq2Seq模型在解码时，有哪些常用的办法？

分析与解答
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

注意力机制

场景描述
在这里插入图片描述

知识点
注意力机制 Seq2Seq 循环神经网络

问题 Seq2Seq模型引入注意力机制是为了解决什么问题？为什么选用了双向的循环神经网络模型？

分析与解答
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Avery123123
关注
专栏目录
神经翻译笔记4. 循环神经网络（RNN）
Timson的NLP笔记本
10-21 1431
神经翻译笔记4. 循环神经网络（RNN） 普通RNN (Vanilla RNN)RNN的反向传播事与愿违的RNN基于门控单元的RNN长短期记忆网络 (LSTM)门控循环单元 (GRU)双向的RNN与更深的RNN双向RNN堆叠RNN批量训练RNNRNN能解决的任务参考文献 本文来自于如下来源 [Neubig2017]第6节(主要来源，结构遵从此文) [Koehn2017]13.4.4、13.4.5...
2021李宏毅机器学习笔记--10 Semi-supervised learning
guoxinxin0605的博客
06-13 433
2021李宏毅机器学习笔记--10 Semi-supervised learning摘要一 、生成模型上的半监督学习二 、Low-density Separation非黑即白2.1 自学习2.2 熵正则化2.3 半监督SVM三 、 Smoothness Assumption平滑假设四 、Better Representation总结 摘要 半监督学习主要是利用少量的标注样本和大量的未标注样本进行训练和分类，让学习器不依赖外界交互，能自动的利用未标记样本来提升学习性能，并且有助于降低标注代价。半监督学习往往
百面机器学习（10）——循环神经网络
Briwisdom的博客
03-23 2093
目录 循环神经网络与卷积神经网络 循环神经网络的梯度消失问题 循环神经网络中的激活函数 长短期记忆网络 Seq2Seq模型 注意力机制 循环神经网络与卷积神经网络 1. 处理文本数据时，循环神经网络与前馈神经网络相比有什么特点？（1） 在神经网络的建模过程中，一般的前馈神经网络，如卷积神经网络，通常接受一个定长的向量作为输入。卷积神经网络对文本数据建模时，输入变长的字符串或者单词...
机器学习实战——基于Scikit-Learn和TensorFlow 阅读笔记 之 第十章：人工神经网络简介
四个菜
03-14 661
《机器学习实战——基于Scikit-Learn和TensorFlow》 这是一本非常好的机器学习和深度学习入门书，既有基本理论讲解，也有实战代码示例。 我将认真阅读此书，并为每一章内容做一个知识笔记。 我会摘录一些原书中的关键语句和代码，若有错误请为我指出。 目录第十章 人工神经网络简介1 从生物神经元到人工神经元1.1 生物神经元1.2 具有神经元的逻辑计算1.3 感知器1.4 多层感知器和反...
《神经网络与深度学习从理论到实践-邱锡鹏》笔记（持续更行ing）
hi_xtm的博客
07-19 1838
《神经网络与深度学习从理论到实践-邱锡鹏》直播课学习笔记
吴恩达《机器学习》课程笔记——第十章：神经网络参数的反向传播算法
weixin_30325971的博客
04-21 197
上一篇※※※※※※※※【回到目录】※※※※※※※※下一篇 10.1 代价函数 首先引入一些便于稍后讨论的新标记方法： 假设神经网络的训练样本有
【EasyRL学习笔记】第十章 稀疏奖励
最新发布
知不足而奋进，望远山而前行
10-24 2万+
实际上用强化学习训练智能体的时候，多数时候智能体都不能得到奖励。在不能得到奖励的情况下，训练智能体是非常困难的。例如，假设我们要训练一个机器臂，桌上有一个螺丝钉与一个螺丝起子，要训练它用螺丝起子把螺丝钉栓进去很难，因为一开始智能体是什么都不知道，它唯一能够做不同的动作的原因是探索。如果环境中的奖励非常稀疏，强化学习的问题就会变得非常困难，但是人类可以在非常稀疏的奖励上去学习。人生通常多数的时候，就只是活在那里，都没有得到什么奖励或是惩罚。但是，人还是可以采取各种各样的行为。所以，
机器学习的1000+篇文章总结
02-28 9252
机器学习的1000+篇文章总结 本文收集和总结了有关机器学习的1000+篇文章，由于篇幅有限只能总结近期的内容，想了解更多内容可以访问：http://www.ai2news.com/, 其分享了有关AI的论文、文章、图书。 吴恩达机器学习-9-降维PCA http://www.ai2news.com/blog/12185/ 机器学习也有弱点？哪些是机器学习的未解之谜？ http://www.ai2news.com/blog/39473/ 一站式机器学习平台建设实践 http://www
【深度学习（deep learning）】花书第10章 序列建模：循环和递归网络 读书笔记
qq_44055705的博客
12-04 897
【深度学习（deep learning）】花书第10章 序列建模：循环和递归网络 读书笔记 第10章 序列建模：循环和递归网络 【深度学习（deep learning）】花书第10章 序列建模：循环和递归网络 读书笔记前言一、序列模型1.1 序列模型中的参数共享1.时延神经网络（卷积）2.循环神经网络1.2 计算图展开二、循环神经网络 RNN2.1 多对多，隐藏到隐藏**反向传播：通过时间反向传播（BPTT）**2.2 多对多，输出到隐藏训练算法：导师驱动过程（teacher forcing）2.3 多对
《深度学习》手推笔记（公式手推）
06-10
第十章 循环神经网络 第十一章 实战经验 第十二章 深度学习应用 ------------------------------------- 第三部分 深度学习前沿研究 第十三章 线性因子模型 第十四章 自编码器 第十五章 表示学习 第十六章 结构化...
人工神经网络编程内容,神经网络用什么编程
shirley67269的博客
08-10 656
对数学好的同学来说，可能最致命的是一个误区，因为计算机的基础是数学，所以完全使用数学思维去解决计算机问题是没问题的，我这里只能说计算机有自己的思维模式，哪怕是那些基于数学原理的算法问题，所以数学专业的同学必须要学会认识到这种思维的差异并学会使用计算机的思维来解决问题，而机器学习则是计算机思维的一个典型代表，这个将会在课程中具体讨论。数学也绝对不是学习这门课的障碍，但是如果你想以其作为职业，去打好这个数学的底子是不可或缺的。当您创建深度神经网络时，您将了解激活函数，并应用它们打破堆叠层的线性并创建分类输出。.
算法面试必备-----数据分析常见面试题
Avery123123的博客
08-06 7401
算法面试必备-----数据分析常见面试题算法面试必备-----数据分析常见面试题统计学问题问题：贝叶斯公式复述并解释应用场景问题：朴素贝叶斯的理解概率问题问题：扑克牌54张，分成2份，求这2份都有2张A的概率数据库问题问题：left join,right join,inner join,full join之间的区别？问题：having和where的区别？问题：mysql中设置row number问题：如何写SQL求出中位数平均数和众数（除了用count之外的方法）机器学习问题问题：如何避免决策树过拟合？问题
算法面试必备-----数据挖掘常见面试题
Avery123123的博客
08-06 4430
算法面试必备-----数据挖掘常见面试题算法面试必备-----数据挖掘常见面试题1. 异常值是指什么?请列举1种识别连续型变量异常值的方法?2. 什么是数据标准化，为什么要进行数据标准化？3. 如何处理缺失值数据？4. 如何进行探索性数据分析(EDA)？5. 给定一个数据集，这个数据集有缺失值，且这些缺失值分布在离中值有 1 个标准偏差的范围内。百分之多少的数据不会受到影响？为什么？6. 对于不平衡数据集，有什么应对方案？7. 什么是 K-fold 交叉验证？8. 简述准确率(accuracy)、召回率(R
算法面试必备-----数据仓库常见面试题
Avery123123的博客
08-10 3189
算法面试必备-----数据仓库常见面试题算法面试必备-----数据仓库常见面试题问题：简述数据仓库中的表的基本类型，以及为了保证引用完整性该以什么样的顺序对它们进行加载问题：事实表和维度表的概念及类型事实表的概念事实的类型维度表维度分类问题：星型模型和雪花模型区别问题：拉链表使用场景和实现方式？问题：拉链表性能优化问题：缓慢变化维的设计？ 算法面试必备-----数据仓库常见面试题 问题：简述数据仓库中的表的基本类型，以及为了保证引用完整性该以什么样的顺序对它们进行加载 答：数据仓库中的表的基本类型有维度表、
算法面试必备-----推荐算法
Avery123123的博客
07-20 2737
算法面试必备-----推荐算法算法面试必备-----推荐算法推荐算法概述1、基于流行度的推荐算法2、基于内容的推荐算法3、基于关联规则的推荐算法4、基于协同过滤的推荐算法4.1、基于用户的推荐4.2、基于物品的推荐协同过滤算法总结5、基于模型的推荐算法6、混合算法推荐算法详解关联规则：基础概念关联规则：Apriori算法算法过程算法的不足关联规则：FP-growth算法算法概述算法流程协同过滤（CF）算法概述基于用户的协同过滤算法（User-Based CF）基本步骤一、寻找用户间的相似度二、推荐物品三、
算法面试必备-----手撕代码高频题
Avery123123的博客
08-22 2510
算法面试必备-----手撕代码高频题算法面试必备-----手撕代码高频题字节跳动阶乘末尾0的个数判断一颗二叉树是否为镜像对称 算法面试必备-----手撕代码高频题 字节跳动 阶乘末尾0的个数 输入描述: 输入为一行，n(1 ≤ n ≤ 1000) 输出描述: 输出一个整数,即题目所求 解法：要判断末尾有几个0就是判断可以整除几次10。10的因子有5和2，而在0~9之间5的倍数只有一个，2的倍数相对较多，所以本题也就转换成了求N阶乘中有几个5的倍数。 也就是每多出来一个5，阶乘末尾就会多出来一个0，这样n /
算法面试必备-----模型评估与选择
Avery123123的博客
05-31 2089
算法面试必备-----模型评估与选择算法面试必备-----模型评估与选择基本概念方差与偏差过拟合与欠拟合问题：在模型评估时，过拟合与欠拟合具体是什么现象？问题：能否说出几种降低过拟合与欠拟合风险的方法？模型评估方法（测试集的保留方法）留出法交叉验证法自助法问题：在自助法的采样过程中，对 n 个样本进行n次自助采样，当n趋于无穷大时，最终有多少数据从来被选择过?调参与最终模型（验证集的使用）问题：在模型评估中，有哪些主要的评估方法，他们的优缺点是什么？模型性能度量任务描述错误率与精度问题：准确率的局限性查准率
算法面试必备-----数据库与SQL面试题
Avery123123的博客
09-03 2032
算法面试必备-----数据库与SQL面试题算法面试必备-----数据库与SQL面试题1、数据库理论问题问题：什么是数据库,数据库管理系统,数据库系统,数据库管理员?问题：什么是元组,码,候选码,主码,外码,主属性,非主属性？问题：主键和外键有什么区别?问题：数据库范式了解吗?问题：什么是存储过程?问题：drop、delete与truncate区别？问题：DML 语句和 DDL 语句区别：问题：数据库设计通常分为哪几步?问题：事务的ACID特性是什么？问题：并发事务带来哪些问题?延伸问题：不可重复度和幻读有什
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值