Issac's Blog

关于KL Divergence初识，看这两篇： http://blog.csdn.net/buaalei/article/details/46516211 http://blog.csdn.net/acdreamers/article/details/44657745 给出了KLD的基本性质以及简单证明。 KLD主要衡量了在同一数据空间中，概率分布Q相对于真实概率分布P的差异。但是KLD的非

http://blog.csdn.net/xiaojidan2011/article/details/11595869 这篇文章讲的不能再好了，mark一下，摘两句话，然后做一下总结。1、两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去。2、将一组N维向量降为K维（K大于0，小于N），其目标是选择K个单位（模为1）正交基，使得原始数据变换到这组基上后，

不知道大家在接触image caption各种模型的时候有没有发现一些共同点，个人感觉无非是改CNN，改RNN和改衔接方式，这其中可能包含几个问题。 CNN提取出的特征图虽然很适合图像问题，但作为输入直接衔接到翻译问题中合适吗？ CNN的输出要怎么加入到RNN中才能更好的使图像中的注意力信息被文本化呢？ 多次输入效果真的不如单次好吗，如果多次输入不同呢？ 还有最原始的问题，RNN对长句子的遗

AK在其开源的neuraltalk和neuraltalk2项目中和此模型进行比较其相似之处，并承认说“but the Google release should work significantly better as a result of better CNN, some tricks, and more careful engineering.“那今天就以此出发，比较一下NIC(Neural

虽然是两年前的一篇论文了，但AK留给大家以供学习的代码依然广为流传（neuraltalk,neuraltalk2）感谢AK大神对我们这些newbie们铺的路。。但怎么能只会使用不懂原理呢？查了一下发现网上对这篇论文的解释却十分鲜有。虽然说文章中特别有新意的地方个人感觉确实也不是很多，但思路还是蛮清晰的，有很大的启发意义，也是值得一读。下面跟大家分享一下我对这篇文章的理解以及自己的一些想法吧～如有不对

本文模型：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/models/rnn/ptb这篇文章引用量也是超高，总体来说因为他有一个大亮点，那就是Dropout on RNN! Overfit一直是困扰RNN的大问题，曾经有过不少实验对RNN加以dropout，但是效果都不好，因为循环放大了输入的噪声

本文模型：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/models/rnn/translate前一段时间在学习image caption，发现基本上所有的论文都引用了这篇论文以及另一篇。image caption的模型也很多都是sequence to sequence（encoder-decoder）的

RNN代码解读之char-RNN with TensorFlow(sample.py)

其实在看这里的代码的时候感觉是最轻松的，但同时又是最费时间的。轻松是因为这里的代码大体上做了些什么都比较好懂，费时间是因为里面涉及了很多python的运算操作，一层套一层，如果不是非常熟练的话（比如说我）看起来还是有点尴尬。所以我在这里强烈推荐像我一样对这里python操作不太熟练的小伙伴一步步debug看一下，或者说把部分代码粘出来，自己写个小文本文件load进去看一下，还是十分有帮助的。功夫下得

前面我们看完了model.py的代码，大家可能会产生一个疑惑，那就是模型的参数是怎么传进去的呢？在训练的时候怎么从以往的checkpoint继续训练呢？其实这些很简单，都在train.py里实现，代码比model里面的代码好理解的多。和以前一样，我将理解写进了注释，欢迎大家的指正。#-*-coding:utf-8-*-from __future__ import print_functionim

最近一直在学习RNN的相关知识，个人认为相比于CNN各种模型在detection/classification/segmentation等方面超人的表现，RNN还有很长的一段路要走，毕竟现在的nlp模型单从output质量上来看只是差强人意，要和人相比还有一段距离。CNN+RNN的任务比如image caption更是有很多有待研究和提高的地方。关于对CNN和RNN相关内容的学习和探讨，我将会在近期

此博文是我与@Forest_13历时3天安装完成，已在NVIDIA GTX970显卡的电脑与NVIDIA GeForce 840M显卡的电脑上测试通过。 如果出现问题请及时指正或留言。一定要使用16.04的系统，不推荐使用15.10的系统，否则前方无限坑！！！！！！ 博客详见:http://blog.csdn.net/Forest_13/article/details/53447608