机器学习：Recurrent Neural Network-RNN

已于 2023-02-19 15:51:13 修改
阅读量496 收藏
点赞数
分类专栏： 机器学习 文章标签： rnn
于 2023-02-17 00:03:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uncle_ll/article/details/129073376
版权

应用举例

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如果有很多词汇的时候，one-encode会导致很长，可以将不常见的归类到other，也可以用n-gram进行编码

在这里插入图片描述
在这里插入图片描述
输出的是一个概率分布

在这里插入图片描述
相同的词得到不同的结果，需要网络具有记忆，RNN网络的设计就是使得网络具有部分的记忆能力。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
存在memory中的内容会不同，输出也会不同
在这里插入图片描述

深层次的网络也是可以的

在这里插入图片描述

不同的变形

在这里插入图片描述

  • jordan network是将输出放入memory
  • elman network是将中间放入memory
  • jordan network一般而言要比elman network要好

在这里插入图片描述
双向的RNN：考虑从前到后，从后到前。

LSTM

  • 输入门中，input-gate，打开还是关闭，是自己学习得到。
  • 输出门中，output-gate，外界是否可以读出来，打开的时候才能读出来，也是自己学习得到。
  • 遗忘门中，forget-gate，什么时候把memory里面的值遗忘掉，也是自己学习得到的。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    c’是新的memory中存的内容。
    遗忘门：打开的时候是记得，关闭的时候是遗忘。
    在这里插入图片描述
    人工RNN例子
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    4个input产生一个output，参数量是一般的网络的4倍。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

Learning target

在这里插入图片描述

在这里插入图片描述
RNN训练也是使用梯度下降算法得到，但是比较训练。
在这里插入图片描述
RNN的loss上下跳动非常震荡
在这里插入图片描述
通过clipping 控制梯度，当大于某个值的时候，都设置为该值继续训练。
在这里插入图片描述
RNN层数多，小量的变化会导致后续发生非常大的变化，梯度无穷大或者梯度为0.
在这里插入图片描述
不好训练的原因不是来自于激活函数，来自于累计。
帮助训练的技巧：

  • LSTM：解决梯度消失的问题，但不能解决梯度爆炸的问题
    在这里插入图片描述
  • GRU更方便，只有两个门。
    如果使用RNN比较过拟合时候，可以换成GRU试试。

其他变体：
在这里插入图片描述

更多应用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
CTC解决叠字多问题
在这里插入图片描述
在这里插入图片描述
假设所有的都是对的，穷举，可以通过dp规划来解决
在这里插入图片描述
在这里插入图片描述
知道下一个，但是不知道什么时候停止。
在这里插入图片描述
在这里插入图片描述

要加一个符号表示停止符，到这块就断。
在这里插入图片描述
直接用声音信号，然后标签是其他语言，不需要先进行语言识别再进行翻译。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

不用考虑P(x)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
deep and structured will be the future. 另外一门课MLDS

在这里插入图片描述

uncle_ll
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
PyTorch笔记 - Recurrent Neural Network(RNN) 循环神经网络
Mystra
08-16 429
机器翻译：sequence to sequence，AED，Attention Based Encoder-Decoder。诗歌生成任务：one -> many。情感分类任务：many -> one。RNN - PyTorch函数。输入：input和h_0，
机器学习 -- Recurrent Neural Network (RNN)
01-30
Recurrent Neural Network (RNN) Example Application 1-of-N encoding Beyond 1-of-N encoding Recurrent Neural Network (RNN) Elman Network & Jordan Network Bidirectional RNN Long Short-term Memory (LSTM)
深度学习之RNN、LSTM、GRU篇
weixin_42028608的博客
02-28 773
写在前面，作为RNN篇学习的记录 参考1：https://blog.csdn.net/mpk_no1/article/details/72875185 参考2：https://blog.csdn.net/lreaderl/article/details/78022724 RNN（ Recurrent Neural Networks循环神经网络） 循环神经网络的主要用途是处理和预测序列数据，在全连接...
机器学习十：Recurrent Neural Network (RNN)递归神经网络
weixin_42744909的博客
10-10 416
什么是递归神经网络 他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。 比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列； 当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。 以nlp的一个最简单词性标注任务来说，将我 吃 苹果 三个单词标注词性为 我/nn 吃/v 苹果/nn。 那么这个任务的输入就是： 我 吃
循环神经网络（Recurrent Neural Network, RNN）
最新发布
易之阴阳，量子纠缠，道之一体，缘起性空
03-23 256
RNN的独特之处在于其内部结构包含循环或递归连接，使得前一时刻的输出能够作为当前时刻的输入的一部分，从而保留了历史信息的痕迹，具备了“记忆”功能。：每个循环层都有一个隐藏状态（Hidden State），该状态会在每次处理新的时间步输入时更新自身的值，并将更新后的值传递到下一个时间步。这意味着当前时刻的隐藏状态不仅取决于当前时刻的输入，还受到前一时刻隐藏状态的影响。：基于当前时刻的隐藏状态，RNN会产生一个输出，该输出既可以是对序列中当前元素的预测，也可以是传递给下一时间步的状态。
李宏毅机器学习课程梳理【十一】：Recurrent Neural Network(RNN)
-Belladonna的博客
08-08 471
场景举例—Slot Filling技术与智能订票系统。系统内设有许多slot，如出发地、目的地和到达时间等等。系统分析客户的话语，把词汇用向量表示，训练模型来填写slot。此情景中，同一个城市前不同意义的动词，会使这个城市名词对应不同的slot。此类情景注重输入序列的元素顺序。 RNN架构 RNN擅长处理考虑输入序列的元素顺序的问题。RNN比DNN多了memory的设计，它将每一个hidden layer的运算结果储存并不断更新到memory中，但只能记住前一个hidden layer的运算结果。由于mem
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Recurrent Neural NetWork（RNN）
知不足而奋进，望远山而前行
12-14 2万+
其实也不难，其中一个想法就是，将同层中，上一个词汇的 Embedding 作为 当前词汇的 额外输入，这样就具有了上一个词汇的信息，而上一个词汇（如果不是第一个词汇的话）又具有上上个词汇的信息，以此类推，当前词汇就具有了上文所有词汇的信息。注意哈，这里的长短期记忆不是指长期或短期的记忆（我一开始就是这么认为的），其实是长的短期记忆的意思，也就是说LSTM其实还是短期记忆，只是稍微长了那么一些的短期记忆而已！但是在LSTM中，它的Memory是加权叠加性的，所以原来存在Memory里的值基本都会有所残留。
循环神经网络 Recurrent Neural Network ｜ RNN
JasonH2021的博客
07-07 4847
简单介绍了循环神经网络的基本概念，应用场景，优缺点，建模过程，类库方法和代码案例等
2020李宏毅机器学习笔记— 9. Recurrent Neural Network（RNN循环神经网络）
weixin_44790306的博客
06-21 622
文章目录摘要Example ApplicationSlot FillingRecurrent Neural Network（RNN） 摘要 Example Application Slot Filling Recurrent Neural Network（RNN）
【课程笔记】李宏毅机器学习[12]：Recurrent Neural Network(RNN)
tjwyj的博客
02-15 305
本系列课程笔记为李宏毅2017,秋，台湾大学课程。 视频网址链接：https://www.bilibili.com/video/av15889450?t=10&p=21 更新日期：20200211 范例 Slot Filling
Predicting-Myers-Briggs-Type-Indicator-with-Recurrent-Neural-Networks
05-25
我们对该项目的重点是使用机器学习来构建分类器，该分类器能够根据社交媒体帖子中的文本样本将人们分类为Myers-Briggs类型索引（MBTI）个性类型。 建立这样一个分类器的动机是双重的。 首先，社交媒体的普遍性意味着...
深度学习之RNN、LSTM及正向反向传播原理
01-06
 RNN( Recurrent Neural Network 循环(递归)神经网络) 跟人的大脑记忆差不多。我们的任何决定，想法都是根据我们之前已经学到的东西产生的。RNN通过反向传播和记忆机制，能够处理任意长度的序列，在架构上比前馈...
BAT机器学习面试1000题系列
03-07
BAT机器学习面试1000题系列 1 前言 1 BAT机器学习面试1000题系列 2 1 归一化为什么能提高梯度下降法求解最优解的速度？ 22 2 归一化有可能提高精度 22 3 归一化的类型 23 1）线性归一化 23 2）标准差标准化 ...
基于机器学习的肺结节良恶性分类研究进展.pdf
09-24
Deep learning-based approach是基于深度学习方法，以CT图像为输入，使用卷积神经网络（Convolutional Neural Networks，CNN）或递归神经网络（Recurrent Neural Networks，RNN）等深度学习模型进行分类。...
详解sigmoid与softmax， 多分类及多标签分类
热门推荐
uncle_ll的博客
09-19 5万+
详解sigmoid与softmax， 多分类及多标签分类激活函数介绍sigmoid激活函数sigmoid激活函数的性质sigmoid激活函数的使用 激活函数介绍 对于熟悉机器学习或神经网络的读者来说，sigmoid与softmax两个激活函数并不陌生，但这两个激活函数在逻辑回归中应用，也是面试和笔试会问到的一些内容，掌握好这两个激活函数及其衍生的能力是很基础且重要的，下面为大家介绍下这两类激活函数...
PCA降维算法总结以及matlab实现PCA
uncle_ll的博客
03-09 2万+
http://blog.csdn.net/watkinsong/article/details/8234766 http://blog.csdn.net/mingtian715/article/details/54172281 PCA的一些基本资料 最近因为最人脸表情识别，提取的gabor特征太多了，所以需要用PCA进行对提取的特征进行降维。
二分类确定画出roc曲线，以及基于roc曲线获得最佳划分阈值
uncle_ll的博客
05-25 8936
问题 在做二分类问题时候，有正样本和负样本。构建的算法，针对每个样本会输出一个分数值。假设该分数大小为[0, 1]区间内的值。有时候单纯地以分数0.5位阈值划分样本为预测为1或者预测为0，效果有时候并不好，此时如何确定很好的阈值分数呢？答案是可以利用roc曲线来确定比较好的划分阈值。 ROC曲线介绍 二分类过程，设定阈值，大于该分数为1，小于该分数为0，统计计算TP， FN， FP，TN等数据计算FPR，TPR p(positive): 标签1 n(negative): 标签0 t(true): 预测正
关于数据集划分比例问题
uncle_ll的博客
10-12 7832
问题 图像数据集是训练模型与测试模型必备的，一般而言收集到的数据是整个数据，会将整个数据划分成三个数据集，训练集，验证集以及测试集。 验证和测试的数据要确保特征分布和训练集接近，类别比例也是接近的，这样得到的准确率或者loss才真实。 在做ocr识别模型训练的时候，样本比较大，这时候有点疑惑该如何划分数据集，且数据集中较大比例是自动生成的数据。 方法 一般而言，对于样本量是非常多的数据时候，可以按照7:3～9:1划分数据集。 但是对于几百万或千万级数据量而言，测试集样本不需要太多，只需要划分一定数量的数据
RECURRENT NEURAL NETWORK BASED STOCK PRICE PREDICTION USING MULTIPLE STOCK BRANDS的更多信息
02-28
"RECURRENT NEURAL NETWORK BASED STOCK PRICE PREDICTION USING MULTIPLE STOCK BRANDS"是一个使用多个股票品牌的循环神经网络（RNN）进行股票价格预测的研究。该研究旨在使用股票价格历史数据来预测未来的价格趋势。 在这项研究中，研究人员使用了多个股票品牌的历史价格数据，包括苹果（AAPL）、谷歌（GOOG）和微软（MSFT）等。他们使用了长短期记忆（LSTM）神经网络来建立模型，并使用了Python编程语言和TensorFlow深度学习框架进行实现。 研究人员首先对数据进行了预处理和归一化处理，然后将数据分成训练集和测试集。他们使用训练集来训练LSTM模型，然后使用测试集来评估模型的性能和准确性。研究人员使用了多个评估指标，包括平均绝对误差（MAE）和均方根误差（RMSE）等。 研究人员的实验结果表明，他们的模型可以在预测多个股票品牌的价格方面表现出色，并且相对于其他机器学习算法，LSTM模型具有更好的预测性能。 总之，“RECURRENT NEURAL NETWORK BASED STOCK PRICE PREDICTION USING MULTIPLE STOCK BRANDS”是一项使用循环神经网络进行股票价格预测的研究，它使用了多个股票品牌的历史价格数据，并且在实验中表现出了很好的预测性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值