qq_28437273-CSDN博客

原创 RNN系列笔记

当学CNN学不下去的时候，来瞅瞅RNN吧此系列是吴恩达DeepLearning课程及花书第十章的学习笔记，对出现的错误还望大佬们能够，，指正！！！！ 1. 初识RNN 2.RNN模型结构 3.RNN简单应用 4.长期依赖问题 5.GRU 6.LSTM 7.BiRNN与DRNN 8.其它RNN...

2018-03-22 21:46:04 574

原创 RNN系列之八其它RNN

本节将阐述几种之前没有介绍的RNN扩展结构。1.递归神经网络递归神经网络（recursive neural network）是RNN的一个扩展，它被构造为深的树状结构而不是RNN的链状结构，如图所示： -...

2018-03-22 20:54:02 399

原创 RNN系列之七 BiRNN与DRNN

1.BiRNN 之前提过的RNN结构都是单向的，但实际问题中还存在不仅依赖于之前的序列还依赖于之后的序列进行预测的问题，对于那些问题，就需要使用双向RNN（Bidirectional RNN， BiRNN），其结构如下图： ---来源http://lib.csdn.net/article/deeplearning/4550...

2018-03-22 20:25:11 7821

原创 RNN系列之六 LSTM

1.LSTM LSTM的基本结构如下图： ---来源http://binweber.top/2018/02/20/deep_learning_9/ 包含三个门控，一个更新门（输入门）Γu，一个遗忘门Γf，一个输出门Γo。更新门：将新的信息选择性的更新到细胞状态中。遗忘门：将细胞状态中的信息选择性的遗忘。输出门...

2018-03-22 20:02:40 385

原创 RNN系列之五 GRU

1.简化版GRU 一般的RNN的单元结构如下图所示： ---来源Andrew Ng深度学习课件 GRU（Gated Recurrent Units）改进了隐藏层，从而使梯度消失的问题得到改善。如下图： ...

2018-03-22 19:34:21 1035

1.长期依赖问题 RNN面临的最大挑战就是无法解决长期依赖问题。例如对下面两句话：最后的was与were如何选择是和前面的单复数有关系的，但对于简单的RNN来说，两个词相隔比较远，如何判断是单数还是复数就很关键。长期依赖的根本问题是，经过许多阶段传播后的梯度倾向于消失（大部分情况）或爆炸（很少，但对优化过程影响很大）。对于梯度爆炸是很好解决的，可以使用梯度修剪（Gradient Clippi...

2018-03-22 18:36:19 16362

原创 RNN系列之三 RNN简单应用

1.语言模型将以语言模型进行分析。建立语言模型所采用的训练集是一个大型的语料库（Corpus）。建立过程中，需要先建立一个字典，之后将语料库中每个词表示为对应的one-hot向量。此外需要额外定义一个标记EOS（End Of Sentence）表示一个句子的结尾，也可以将其中的标点符号加入字典后也用one=hot向量表示。对于语料库中部分（英语）人名、地名等特殊的不包含在字典中的词汇，可在...

2018-03-22 16:57:59 1807

原创 RNN系列之二 RNN模型结构

1.表示方式 RNN的表示有两种不同的绘图方式。一是计算图，如下图左，二是展开计算图，如下图右。图中，只包含了输入与隐藏状态，不包含输出。回路图中的黑色方块表示单个时间步的延迟。 ---来源花书2.前向传播 ...

2018-03-21 16:30:23 3706

原创 RNN系列之一初识RNN

1.简介循环神经网络（recurrent neural network，RNN）是一类用于处理序列数据的神经网络。类似于卷积神经网络（Convolutional neural network，CNN）可以处理空间上的数据（例如图像），RNN则专门处理序列上的数据，主要用于时序，自然语言处理（Natural Language Processing）等领域。2.早期思想如何从多层网络发...

2018-03-20 21:25:07 821

qq_28437273的博客