深度学习(6): RNN

最新推荐文章于 2022-03-22 18:41:22 发布
最新推荐文章于 2022-03-22 18:41:22 发布
阅读量430 收藏 2
点赞数
文章标签： 人工智能 python 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51182518/article/details/112691632
版权
本文深入探讨了循环神经网络（RNN），包括基本的RNN结构、Elman和Jordan网络、双向RNN、LSTM和GRU。解释了LSTM的工作原理，以及在序列学习中的挑战和解决方案，如梯度消失问题。此外，还讨论了RNN在多种任务中的应用，如情感分析、语音识别和机器翻译，并对比了RNN与结构化学习方法。
摘要由CSDN通过智能技术生成

Recurrent Neural Network

  • slot filling

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

将一个词输入进去，输出的为该词属于slot的概率分布

在这里插入图片描述

input相同词的slot不同

在这里插入图片描述
在这里插入图片描述

每一个hidden layer 产生的 output会被存储在a1和a2中，再输入其他input时，memory 也会被考虑

在这里插入图片描述

第一次输入

将sequence第一组input输入到neural network中，设定memory的initial value 为0.所有的节点权值为1，无偏移量，所有的activation functions 都是线性的。

在这里插入图片描述

经过绿色的节点的计算，每个绿色节点的output都为2
在这里插入图片描述
最后y1和y2的output为4，同时2，2会被存储在memory中。
在这里插入图片描述
在这里插入图片描述

第二次输入

在这里插入图片描述

对于RNN，即使输入的input是一样的，它的output也可能不一样

第三次输入

在这里插入图片描述

changing the sequence order will change the output

在这里插入图片描述

同一个network在三个时间点被使用了三次，对于第二次输入来说，taipei这个词产生的output会同时考虑储存在a1中arrive的特征，从而产生一个关于arrive Taipei这个词组的output

在这里插入图片描述
在这里插入图片描述

Elman Network & Jordan Network

在这里插入图片描述

Jordan Network 储存的是output的值，在target上有更好的performance

Bidirectional RNN （可以是双向的）

可以同时train 正向和逆向的NN，把两个nn的output拿出来产生最后的y
在这里插入图片描述
好处：产生output产生的范围比较广，对于正向的nn，它考虑的只是input前sequence的所有特征，对于双向，考虑了前后所有时刻的input

LSTM Long short-term Memory

在这里插入图片描述

input gate 和output gate 可以打开或关闭控制memory变量的输入与输出

四个input

  • 想要被存入memory cell的值，depend on input gate
  • 操控input gate 的讯号
  • 操控output gate 的讯号
  • 操控 forget gate的讯号
  • 三个gate是打开还是关闭由学习得到

sigmoid 的值表示被打开的程度，即概率

最低0.47元/天 解锁文章
weixin_51182518
关注
循环神经网络（Recurrent Neural Network, RNN）
qq_41536160的博客
05-29 5534
基本概念 一般的神经网络(BP以及CNN)只对预先确定的大小起作用：它们接受固定大小的输入并产生固定大小的输出。它们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等单个物体的识别具有较好的效果。但是, 对于一些与时间先后有关的, 比如视频的下一时刻的预测,文档前后文内容的预测等, 这些算法的表现就不尽如人意了。 循环神经网络 (Recurrent Neural Network, RNN) 一般是指时间递归神经网络而非结构递归神经网络 (Recursive Neura
机器学习系列27-循环神经网络RNN(Ⅱ)
weixin_44406200的博客
08-05 1896
Recurrent Neural Network(Ⅱ) 上一篇文章介绍了RNN的基本架构，像这么复杂的结构，我们该如何训练呢？ Learning Target Loss Function 依旧是Slot Filling的例子，我们需要把model的输出yiy^iyi与映射到slot的reference vector求交叉熵，比如“Taipei”对应到的是“dest”这个slot，则reference vector在“dest”位置上值为1，其余维度值为0 RNN的output和reference vec
注意力机制代码研读
tjh1998的博客
03-22 1856
注意力机制
李宏毅机器学习之RNN
Trony的博客
06-23 1000
一、应用举例 Slot Filling 假设订票系统听到用户说：“ i would like to arrive Taipei on November 2nd”，你的系统有一些slot(有一个slot叫做Destination，一个slot叫做time of arrival)，系统要自动知道这边的每一个词汇是属于哪一个slot，比如Taipei属于Destination这个slot，November 2nd属于time of arrival这个slot。 也可以使用一个feedforward n
验证码终结者-基于CNN+BLSTM+CTC的训练部署套件
02-08 3626
1 定义一个模型 本项目采用的是参数化配置，不需要改动任何代码，可以训练几乎任何字符型图片验证码，下面从两个配置文件说起： config.yaml # 系统配置 # - requirement.txt - GPU: tensorflow-gpu, CPU: tensorflow # - If you use the GPU version, you need to install some additional applications. # TrainRegex and TestRegex: Def
【深度学习系列（六）】：RNN系列（3）：基于Tensorflow的RNN的实战之英文名字生成
01-06
了解RNN的基本单元及其改进之后，接下来我们使用RNN进行一个简单的名字生成实战来了解实际使用中需要注意的地方及要点，废话不多说。。。 目录 一、数据预处理及加载 1、数据预处理 2、数据加载 二、RNN模型搭建 三...
深度学习模型解析：RNN结构与应用
"本文主要介绍了深度学习模型的基本结构，特别是循环神经网络（RNN）的原理和应用。文章深入浅出地阐述了RNN的工作机制，以及它在处理序列数据时的优势和挑战，并提到了一些实际应用案例，如简化版的语音识别任务。...
LSTM：攻克RNN长期依赖问题的深度学习突破
最新发布
08-16
循环神经网络（Recurrent Neural Network, RNN）在处理序列数据时具有天然的优势，但它们在捕捉长期依赖关系方面...尽管LSTM在训练和计算上面临挑战，但其在处理序列数据方面的能力使其成为深度学习领域的重要工具。
RNN深度学习网络的训练matlab仿真+操作视频
06-13
1.领域：matlab，RNN深度学习网络算法 2.内容：RNN深度学习网络的训练matlab仿真+操作视频 3.用处：用于RNN深度学习网络算法编程学习 4.指向人群：本硕博等教研学习使用 5.运行注意事项： 使用matlab2021a或者...
NN、DN、2NN、JN
weixin_44976835的博客
06-16 1587
NN–NameNode NN负责对HDFS上的元数据进行整理 在NN上存放了两份重要信息：1.文件由哪些块组成、2.每个块存在哪个位置 除此之外还有一些非关键信息：文件名、上传者、上传时间 元数据在磁盘中存储在fsimage中 NN的持久化 NN负责整个HDFS的负载，当客户端对数据进行写操作时候会产生元数据，导致元数据不断增加，存在丢失风险，所以需要对NN中的元数据进行持久化 存在着两种持久化的方法： 将所有的写操作记录下来，形成日志文件 将当前内存内存的数据形成一个快照 日志文件持久化方法存
RNN 中学习长期依赖的三种机制
安小飞的博客
08-30 5492
【转自知乎：https://zhuanlan.zhihu.com/p/34490114】 目前大约有三类机制解决长期依赖的学习问题，分别是门机制、跨尺度连接和特殊初始化（及其维持）。 【门机制】 代表作 LSTM: Long Short-Term Memory GRU: Gated Recurrent Unit Minimal Gated Unit，详见 [1603.09420] ...
深度学习---算法岗面试题
@木子李的博客
08-09 1330
● 深度学习了解多少，有看过底层代码吗？caffe,tf? ● 除了GMM-HMM，你了解深度学习在语音识别中的应用吗？ 参考回答： 讲了我用的过DNN-HMM，以及与GMM-HMM的联系与区别；然后RNN+CTC，这里我只是了解，大概讲了一下CTC损失的原理；然后提了一下CNN+LSTM。 ● 用过哪些移动端深度学习框架？ 参考回答： 开源的有：小米的MACE，骁龙的SNPE，腾讯的FeatherCNN和ncnn，百度的mobile-deep-learning(MDL)；caffe、tensorflow
CRNN
cengjing12的博客
11-13 7447
CRNN详解：https://blog.csdn.net/bestrivern/article/details/91050960 https://www.cnblogs.com/skyfsm/p/10335717.html 1 概述 传统的OCR识别过程分为两步：单字切割和分类任务。现在更流行的是基于深度学习的端到端的文字识别，即我们不需要显式加入文字切割这个环节，而是将文字识别转化为序列学习问题，虽然输入的图像尺度不同，文本长度不同，但是经过DCNN和RNN后，在输出阶段经过一定的翻译后，就可以对整个文本
《机器学习》学习笔记（五）-- 深度学习概述，反向传播
DIAJEY的博客
08-06 618
1.Neural Network(神经网络) concept 把多个logistic regression前后连接在一起，然后把一个logistic regression称之为neuron，整个则称之为neural network 我么可以用不同的方法连接这些neuron，就可以得到不同的结构，神经网络里的每一个逻辑回归都有自己的权重和偏值，这些weigh和bias集合起来，就是这个network的parameter。 Fully Connect Feedforward Network 最常见的方法是Fu
春节快乐！10 场 AI 学术公开课伴你过新年
weixin_33966095的博客
02-05 166
雷锋网 AI 科技评论按：2018 年，AI 研习社为大家呈上了一系列公开课，让更多的 AI 学术人员得以分享、传播自己的研究成果，也让科技爱好者们、学生们、其它研究人员们增进了对人工智能相关思维、知识、应用的认识，为国内人工智能长期持续发展的氛围出一份力。 在这阖家团圆的日子里，我们特意整理出 10 场传播热度最高的公开课，让错过直播的童鞋得以查缺...
RNN浅析（上）
热门推荐
LeoChen1983的专栏
03-20 3万+
A Survey on Recurrent Neural Network
李宏毅机器学习课程笔记9：Recurrent Neural Network
徐子尧的博客
07-25 9981
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第25-26课所做的笔记和自己的理解。Lecture 25,26: Recurrent Neural Network RNN的基本概念与SimpleRNN以订票系统中的Slot Filling为例，我们希望订票系统听到用户说:”I
【程序喵笔记】RNN实现文本分类
m0_37862099的博客
04-25 6179
运用RNN网络对影评数据集进行分类
深度学习 | MATLAB Deep Learning Toolbox sequenceInputLayer
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
07-05 4658
深度学习 | MATLAB Deep Learning Toolbox sequenceInputLayer & featureInputLayer 本文主要介绍MATLAB Deep Learning Toolbox工具箱的网络层设置，以 sequenceInputLayer & featureInputLayer为例！ 目录深度学习 | MATLAB Deep Learning Toolbox sequenceInputLayer & featureInputLayerseq
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值