深度学习/花书:第十章(序列建模：循环和递归网络)

最新推荐文章于 2022-07-06 17:10:34 发布
最新推荐文章于 2022-07-06 17:10:34 发布
阅读量902 收藏 6
点赞数
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37534947/article/details/108369828
版权

一：主要流程
在这里插入图片描述
二：为什么需要序列模型？
在这里插入图片描述
三：网络记忆能力

在RNN出现前，一些具有记忆能力的网络：
1）TDNN
在这里插入图片描述
2）自回归模型
在这里插入图片描述
四：循环神经网络
在这里插入图片描述
五：循环神经网络的计算图
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
六：序列模型解决的问题
在这里插入图片描述
七：BPTT（随时间反向传播）—重点
在这里插入图片描述

在这里插入图片描述

1）前向传播
在这里插入图片描述
2）反向传播

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

八：双向循环神经网络
在这里插入图片描述
九：长期依赖的挑战
在这里插入图片描述

在这里插入图片描述
十：LSTM
在这里插入图片描述

在这里插入图片描述

十一：GRU
在这里插入图片描述

在这里插入图片描述

《深度学习》花书 - 第十章 序列建模：循环和递归网络
Loy Fan
12-16 612
Deep Learning - Chapter 610 序列建模：循环和递归网络10.1 展开计算图10.2 循环神经网络 10 序列建模：循环和递归网络 循环神经网络（ recurrent neural network）或 RNN (Rumelhart et al., 1986c)是一类用于处理序列数据的神经网络。就像卷积网络是专门用于处理网格化数据 X（如一个图像）的神经网络， 循环神经网络是...
【书籍阅读】DeepLearning----第十章-序列建模：循环和递归网络
时光机 °的博客
06-29 396
  循环神经网络（RNN）是一类用来处理序列数据的神经网络。如卷积神经网络可以处理可变尺寸的网格数据一样，大多数循环神经网络可以处理可变长度的序列数据。   参数共享使得模型能够扩展到不同形式的样本（如不同长度的序列）并进行泛化。如果对于每个时间点都有一个独立的参数，那么我们不但不能泛化到训练时没见过过的序列长度，也不能在时间上共享不同序列长度和不同位置的统计强度。当信息的特定部分序列在序列内多...
深度学习花书学习笔记 第十章 序列建模：循环神经网络
liutianheng654的博客
10-09 1482
展开计算图 就是将循环图展开成展开图而已。 循环神经网络   就是如上网络，将某一层不断重复，输出重新作为输入的一部分。 双向RNN 应用于上下文环境都影响结果的场景，如语音识别，文章翻译等 基于编码-解码的序列到序列架构 可以将可变长度的输入转变为可变长度的输出。这里也提到了注意力模型。后面了解下自编码网络有没有用到循环神经网络的技术。自编码网络是将一个东西编码后解码再还...
【深度学习（deep learning）】花书第10章 序列建模：循环和递归网络 读书笔记
qq_44055705的博客
12-04 1014
【深度学习（deep learning）】花书第10章 序列建模：循环和递归网络 读书笔记 第10章 序列建模：循环和递归网络 【深度学习（deep learning）】花书第10章 序列建模：循环和递归网络 读书笔记前言一、序列模型1.1 序列模型中的参数共享1.时延神经网络（卷积）2.循环神经网络1.2 计算图展开二、循环神经网络 RNN2.1 多对多，隐藏到隐藏**反向传播：通过时间反向传播（BPTT）**2.2 多对多，输出到隐藏训练算法：导师驱动过程（teacher forcing）2.3 多对
《深度学习》读书笔记之第10章 序列建模：循环和递归网络
mengbaoer007的博客
10-18 445
"Deep Learning" By Ian Goodfellow, Yoshua Bengio, Aaron Courville 赵申剑、黎彧君、符天凡、李凯 译，张志华等 审校 同时参考http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 第10章 序列建模：循环和递归网络        循环神经网络(Recurrent N...
2020-2-24 深度学习笔记10 - 序列建模：循环和递归网络 3（深度循环网络，递归神经网络，长期依赖的挑战，回声状态网络ESN）
weixin_42555985的博客
03-15 2425
第十章 序列建模：循环和递归网络 官网 2020-2-21 深度学习笔记10 - 序列建模：循环和递归网络 1（展开计算图，循环神经网络–经典 / 导师驱动 / 唯一单向量输出 / 基于上下文RNN建模） 2020-2-23 深度学习笔记10 - 序列建模：循环和递归网络 2（双向RNN，基于编码 - 解码的序列到序列结构–不等长输出序列，计算循环神经网络的梯度） 深度循环网络 大多数RNN中的计...
2020-2-21 深度学习笔记10 - 序列建模：循环和递归网络 1（展开计算图，循环神经网络--经典 / 导师驱动 / 唯一单向量输出 / 基于上下文RNN建模）
weixin_42555985的博客
03-14 1988
第十章 序列建模：循环和递归网络 官网 循环神经网络（recurrent neural network）或RNN是一类用于处理序列数据的神经网络。 循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural ne...
2020-2-25 深度学习笔记10 - 序列建模：循环和递归网络 4（渗漏单元和其他多时间尺度的策略，长短期记忆和其他门控RNN）
weixin_42555985的博客
03-15 1115
第十章 序列建模：循环和递归网络 官网 2020-2-21 深度学习笔记10 - 序列建模：循环和递归网络 1（展开计算图，循环神经网络–经典 / 导师驱动 / 唯一单向量输出 / 基于上下文RNN建模） 2020-2-23 深度学习笔记10 - 序列建模：循环和递归网络 2（双向RNN，基于编码 - 解码的序列到序列结构–不等长输出序列，计算循环神经网络的梯度） 2020-2-24 深度学习笔记...
《深度学习》Textbook第十章学习笔记
weixin_30425949的博客
08-21 138
深度学习 第10章 序列建模：循环和递归网络 1.循环神经网络介绍 相比卷积神经网络：专门用于处理网格化的数据（如图像），可以很容易扩展到更具有很大宽度和高度的图像，以及处理大小可变的图像； 循环神经网络专门用于处理序列化得数据，可以扩展到更长的序列，大多数循环网络也能处理可变长度的序列。 转载于:https://www.cnblogs.com/yanmk/p/9138...
花书第九章 第十章 第十一章 第十三章 第十四章
dbw794363172的博客
07-06 714
目录卷积网络——专门用来处理具有类似网格结构的数据神经网络。序列建模：循环和递归网络实践方法论线性因子模型自编码器
循环神经网络和LSTM课件
12-18
该资源是由七月算法寒老师在机器学习课程中讲述的内容，主要内容为循环神经网络课程的课件内容丰富。
深度学习(十)之序列建模：循环和递归网络②
wenhui12345的博客
11-07 1440
本文继续简述上一篇的内容：深度学习(十)之序列建模：循环和递归网络①10.6 递归神经网络递归神经网络代表循环网络的另一个扩展，它被构造为深的树状结构而不是RNN的链状结构，因此是不同类型的计算图。递归网络的典型计算图如下图所示。递归网络已成功地应用于输入是数据结构的神经网络，如自然语言处理和计算机视觉。递归网络的一个明显优势是，对于具有相同程度τ的序列，深度可以急剧地从τ减少为σ(log τ),
深度学习花书学习笔记 第六章 深度前馈网络
liutianheng654的博客
09-28 2607
深度前馈网络又称多层感知机、前馈神经网络。即只有从x向y方向的传播，最终输出y。 主要包括输入层、隐藏层和输出层。神经网络的模型可以解决非线性问题。 计算网络的参数通过反向传播；如果每一层隐藏层都只有wx+b的运算，则多层累加变为w1*(w2*(w3*x))+a = W*x +a,失去了非线性能力。故每一层后面会加上一个激活层。 实例：学习XOR 单个线性函数无法解决XOR的问题，但是多个...
深度学习花书学习笔记 第十四章 自编码器
liutianheng654的博客
10-23 1611
RBM 受限玻尔兹曼机：后面有专门章节介绍。书中这里多次提到，感觉这个书的顺序也很不合理啊，很多这种问题。。。 欠完备自编码器 编码输出维度小于输入的编码器称为欠完备自编码器，可以得到有效特征。 正则自编码器 编码输出维度大于等于输入的编码器称为过完备自编码器。可能学不到任何有用信息 稀疏自编码器： 其中g(h) 是解码器输出，h是编码器输出。即h = f(x) 去噪自编码器DAE...
L1、L2范数理解--Ridge以及Lasso回归
qq_37534947的博客
12-05 7641
文章目录一：范数对比二：范数作用三：L0范数和L1范数之间的比较四：L1范数和L2范数的比较五：L1范数和L2范数之反向传播的理解 一：范数对比 L0范数: 指向量中非0的元素的个数。(L0范数很难优化求解) L1范数: 指向量中各个元素绝对值之和 L2范数: 指向量各元素的平方和然后求平方根 注: L0范数,指向量中非零元素的个数。无穷范数,指向量中所有元素的最大绝对值。 二：范数作用 L1范数： 可以进行特征选择，即让特征的系数变为0. L2范数： 可以防止过拟合，提升模型的泛化能力，有助于处理
数据结构分析_Inception_GNN_GCN
qq_37534947的博客
11-24 2877
文章目录1.数据结构分析（欧几里德和非欧几里德数据）2.inception V1 V2 V3 V4inception V1Inception V2BN 理解Inception V3Inception V43.GNN简单理解4.GCN简单理解 1.数据结构分析（欧几里德和非欧几里德数据） 欧几里德数据 如上图所示，每个节点之间都是排列整齐的，所以很容易的可以定义出距离来，如下图所示： 非欧几里德数据 排列不整齐，比较的随意。具体体现在：对于数据中的某个点，难以定义出其邻居节点出来，或者是不同节点的
深度学习复习总览（一）
qq_37534947的博客
10-18 1172
一：绪论 人工智能：使一部机器人像人一样进行感知、认知、决策、执行的人工程序或系统。 标志事件表： 人工智能诞生：1956年的达特茅斯会议 三个层面：目前处于第二个 分类： 三起两落： 其中第一次是感知机的出现，第二次是BP的出现，第三次是包括是三个，分别是：逐层预训练算法、深度学习算法在ImageNet以及2016年的AlphaGo。 一些重要人物： 二：基础知识 机器学习三要素：模型、学习准则、优化算法。 模型：映射函数。 学习准则：经验风险最小化。 优化算法：梯度下降。 神经
深度学习复习总览（五）
qq_37534947的博客
10-19 995
文章目录卷积神经网络一、三个特点二、卷积和互相关三、卷积操作四、池化五、增加输出单元的感受野六、卷积网络发展历程 卷积神经网络 为什么引入卷积网络？主要是对于图片来说，全连接神经网络的几个弊端如下： 一、三个特点 稀疏交互/局部连接： 在全连接神经网络，一层的每个神经元和前一层的所有神经元都有连接；而在卷积神经神经网络中，输出单元和前一层的部分神经元（卷积核大小）有连接；这样导致的结果是参数由M(L)*M(L-1)减少为M(L) *K * K. 其中K为卷积核大小/滤波器大小。 参数共享： 对于上面
深度学习复习总览（三）
qq_37534947的博客
10-18 964
前馈神经网络： https://blog.csdn.net/qq_37534947/article/details/107832979 补充： 人工神经网络的三大要素： 万能近似定理： 可以看到只需要一个线性输出层和一个隐藏层组成的神经网络就可以近似任何函数，但是规模可能巨大，随着深度的增加，网络的表示能力呈指数增加。并且有着更好的泛化能力，但是未必带来模型效果的提升。 ...
西瓜书周志华第十章实验
最新发布
12-26
### 周志华《机器学习》第十章实验：集成方法 #### 集成方法概述 周志华所著的《机器学习》一书中，第十章主要讨论了集成方法。该章节介绍了通过组合多个模型来提高预测性能的方法[^2]。 #### 实验目标 本实验旨在利用Python实现几种常见的集成方法，包括Bagging、Boosting以及Stacking，并应用这些技术解决分类问题。 #### 所需库安装 为了顺利完成此实验，请确保已安装以下Python库： ```bash pip install numpy pandas scikit-learn matplotlib seaborn ``` #### 数据准备 选取UCI Machine Learning Repository中的数据集作为训练样本，例如著名的鸢尾花(Iris)数据集用于演示目的。可以使用`sklearn.datasets`模块加载内置的数据集。 ```python from sklearn import datasets import pandas as pd iris = datasets.load_iris() X = iris.data # 特征矩阵 y = iris.target # 目标向量 df = pd.DataFrame(data=np.c_[iris['data'], iris['target']], columns=iris['feature_names'] + ['target']) print(df.head()) ``` #### Bagging算法实践 Bagging(Bootstrap Aggregating)，即自助聚合法是一种减少方差的有效手段之一。下面展示如何基于决策树构建一个简单的Bagging分类器。 ```python from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import BaggingClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 划分训练集与测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.3) # 初始化基估计器 base_estimator = DecisionTreeClassifier(max_depth=1) # 创建并拟合bagging分类器 clf_bagging = BaggingClassifier(base_estimator=base_estimator, n_estimators=100, random_state=42).fit(X_train, y_train) # 输出准确率 acc = accuracy_score(y_true=y_test, y_pred=clf_bagging.predict(X_test)) print(f'Accuracy of bagging classifier on testing set: {acc:.2f}') ``` #### Boosting算法实践 AdaBoost是最早提出的提升方法之一，在每次迭代过程中调整权重使得错误分类实例获得更高关注。这里给出一段简单代码片段说明其工作原理。 ```python from sklearn.ensemble import AdaBoostClassifier # 构建adaboost分类器 clf_adaboost = AdaBoostClassifier(n_estimators=50, learning_rate=1., algorithm='SAMME.R', base_estimator=None, random_state=42) # 训练模型 clf_adaboost.fit(X_train, y_train) # 测试模型表现 accuracy_boosted = clf_adaboost.score(X_test, y_test) print('Adaboost Accuracy:', round(accuracy_boosted * 100, 2), '%') ``` #### Stacking算法实践 堆叠(Stacking)涉及创建元模型(meta-models)，它接收初级模型(primary models)输出的概率分布作为输入特征来进行最终预测。此处仅提供概念性指导而非具体编码细节；读者可根据实际需求自行探索更复杂的架构设计思路。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Studying_swz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值