rnn
sunflower_Yolanda
积极乐观的程序媛
展开
-
RNN学习(三)
nn.Recurrent(start, input, feedback, [transfer, rho, merge]) start: the size of the output, or a Module that will be inserted between the input and the transfer. input: a module that processes the in原创 2016-06-27 17:17:00 · 1257 阅读 · 0 评论 -
RNN学习(一) 神经网络概述
参考LectureNotes3 神经网络可用于非线性分类 如图 神经元接受n个输入,产生一个输出 神经元输出函数可以有 sigmoid 也可以表示称 binary logistic regression softmax 等等 例如想知道”Museums in Paris are amazing”中Paris是否是一个命名实体。可以使用如下网络建立一个分类器。 假设我们用一个4维词向量原创 2016-06-20 13:57:54 · 896 阅读 · 0 评论 -
RNN学习(二) 一些常见的RNN
参考LectureNotes4 参考BackPropagation Through Time 语言模型 rnn 损失函数:交叉熵 Vanishing Gradient 和 Gradient Explosion Problems 问题解决办法: 改变对WhhW^{hh}的初始化方法 不使用sigmoid,而使用ReLU Deep Bidirectional RNN:可以参考”Bidirection原创 2016-06-20 17:53:14 · 1489 阅读 · 0 评论