![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
RNN
文章平均质量分 72
Issac_33
对未知的追求是生活的乐趣所在
展开
-
【论文笔记】Sequence to sequence Learning with Neural Networks
本文模型:https://github.com/tensorflow/tensorflow/tree/master/tensorflow/models/rnn/translate前一段时间在学习image caption,发现基本上所有的论文都引用了这篇论文以及另一篇。image caption的模型也很多都是sequence to sequence(encoder-decoder)的原创 2016-12-11 23:36:57 · 7439 阅读 · 2 评论 -
【论文笔记】Recurrent Neural Network Regularization
本文模型:https://github.com/tensorflow/tensorflow/blob/master/tensorflow/models/rnn/ptb这篇文章引用量也是超高,总体来说因为他有一个大亮点,那就是Dropout on RNN! Overfit一直是困扰RNN的大问题,曾经有过不少实验对RNN加以dropout,但是效果都不好,因为循环放大了输入的噪声原创 2016-12-11 23:45:55 · 4310 阅读 · 0 评论 -
RNN代码解读之char-RNN with TensorFlow(sample.py)
RNN代码解读之char-RNN with TensorFlow(sample.py)原创 2016-12-08 15:24:51 · 2615 阅读 · 5 评论 -
RNN代码解读之char-RNN with TensorFlow(model.py)
最近一直在学习RNN的相关知识,个人认为相比于CNN各种模型在detection/classification/segmentation等方面超人的表现,RNN还有很长的一段路要走,毕竟现在的nlp模型单从output质量上来看只是差强人意,要和人相比还有一段距离。CNN+RNN的任务比如image caption更是有很多有待研究和提高的地方。关于对CNN和RNN相关内容的学习和探讨,我将会在近期原创 2016-12-07 22:33:36 · 5343 阅读 · 1 评论 -
RNN代码解读之char-RNN with TensorFlow(train.py)
前面我们看完了model.py的代码,大家可能会产生一个疑惑,那就是模型的参数是怎么传进去的呢?在训练的时候怎么从以往的checkpoint继续训练呢?其实这些很简单,都在train.py里实现,代码比model里面的代码好理解的多。和以前一样,我将理解写进了注释,欢迎大家的指正。#-*-coding:utf-8-*-from __future__ import print_functionim原创 2016-12-08 13:19:47 · 4508 阅读 · 2 评论 -
RNN代码解读之char-RNN with TensorFlow(util.py)
其实在看这里的代码的时候感觉是最轻松的,但同时又是最费时间的。轻松是因为这里的代码大体上做了些什么都比较好懂,费时间是因为里面涉及了很多python的运算操作,一层套一层,如果不是非常熟练的话(比如说我)看起来还是有点尴尬。所以我在这里强烈推荐像我一样对这里python操作不太熟练的小伙伴一步步debug看一下,或者说把部分代码粘出来,自己写个小文本文件load进去看一下,还是十分有帮助的。功夫下得原创 2016-12-08 13:44:08 · 2266 阅读 · 0 评论