循环神经网络
Houser_qihao
记录自己
展开
-
双向循环神经网络(BRNN)
双向循环神经网络(BRNN)RNN和LSTM都只能依据之前时刻的时序信息来预测下一时刻的输出,但在有些问题中,当前时刻的输出不仅和之前的状态有关,还可能和未来的状态有关系。比如预测一句话中缺失的单词不仅需要根据前文来判断,还需要考虑它后面的内容,真正做到基于上下文判断。BRNN有两个RNN上下叠加在一起组成的,输出由这两个RNN的状态共同决定。BRNN结构图如图4所示。对于每个时刻t,...原创 2018-07-27 21:19:24 · 18344 阅读 · 2 评论 -
LSTM结构
LSTM结构上节介绍的RNN模型,存在“长期依赖”的问题。模型在预测“大海的颜色是”下一个单词时,很容易判断为“蓝色”,因为这里相关信息与待预测词的位置相差不大,模型不需要记忆这个短句子之前更长的上下文信息。但当模型预测“十年前,北京的天空很蓝,但随着大量工厂的开设,废气排放监控不力,空气污染开始变得越来越严重,渐渐地,这里的天空变成了”下一个单词时,依靠“短期依赖”就不能很好的解决这类问题,...原创 2018-07-27 21:04:39 · 4475 阅读 · 0 评论 -
RNN模型
RNN模型我们先来看一个RNN经典结构,图1展示了一个典型按时间展开后的RNN结构。从图1可以看出,RNN在每一个时刻都有一个输入Xt,然后根据当前节点的状态At计算输出值ht,而At是根据上一时刻的状态At-1和当前的输入Xt共同决定的。和卷积神经网络卷积核或池化核的参数共享类似,这里RNN结构中的参数在不同时刻中也是共享的。1.2.1 RNN前向传播过程图2 RNN的前...原创 2018-07-27 21:14:38 · 16115 阅读 · 3 评论 -
深层循环神经网络(DRNN)
深层循环神经网络(DRNN)DRNN可以增强模型的表达能力,主要是将每个时刻上的循环体重复多次,每一层循环体中参数是共享的,但不同层之间的参数可以不同。DRNN结构图如图5所示。TensorFlow中可以通过rnn_cell.MultiRNNCell([lstm] * number_of_layer)来构建DRNN,其中number_of_layer表示了有多少层。在我们构建自己的...原创 2018-07-27 21:22:11 · 7569 阅读 · 2 评论 -
理解 LSTM 网络 (Understanding LSTM Networks by colah)
@翻译:huangyongye原文链接: Understanding LSTM Networks前言:其实之前就已经用过 LSTM 了,是在深度学习框架 keras 上直接用的,但是到现在对LSTM详细的网络结构还是不了解,心里牵挂着难受呀!今天看了 tensorflow 文档上面推荐的这篇...转载 2018-07-28 09:35:47 · 654 阅读 · 0 评论