![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
rnn
sunflower_Yolanda
积极乐观的程序媛
展开
-
RNN学习(三)
nn.Recurrent(start, input, feedback, [transfer, rho, merge]) start: the size of the output, or a Module that will be inserted between the input and the transfer.input: a module that processes the in原创 2016-06-27 17:17:00 · 1244 阅读 · 0 评论 -
RNN学习(一) 神经网络概述
参考LectureNotes3神经网络可用于非线性分类 如图 神经元接受n个输入,产生一个输出神经元输出函数可以有 sigmoid 也可以表示称 binary logistic regression softmax 等等例如想知道”Museums in Paris are amazing”中Paris是否是一个命名实体。可以使用如下网络建立一个分类器。 假设我们用一个4维词向量原创 2016-06-20 13:57:54 · 881 阅读 · 0 评论 -
RNN学习(二) 一些常见的RNN
参考LectureNotes4参考BackPropagation Through Time语言模型rnn 损失函数:交叉熵 Vanishing Gradient 和 Gradient Explosion Problems 问题解决办法: 改变对WhhW^{hh}的初始化方法不使用sigmoid,而使用ReLUDeep Bidirectional RNN:可以参考”Bidirection原创 2016-06-20 17:53:14 · 1468 阅读 · 0 评论