最后一篇将前面分散在各篇的图全部在这儿汇总一下吧,也供自己以后再回头看看。学习的时候尽量一步一个脚印,每走一步都要让自己尽可能的踏实,这样自己的知识才会非常牢固。并且在写东西的时候能使思维慢下来,慢下来的过程中,常常会发现自己头脑里一晃而过的事儿,认为自己弄明白了,但仔细到细节并要能写出来却发现什么也不清楚,然后就会发现自己很多东西根本就没落实。或许把一些东西写下来非常慢,但很多时候我都发现,慢慢来,反而比较快。好了,下面是正文,就结束rnnlm toolkit源码阅读了。
1.首先是论文中最“常规”RNN结构,如下,关于rnn原理推导,请移步这儿。
2.为了加快计算速度,将输出层分解后的RNN,在我前面的某一篇中介绍过了,但个人感觉不是很细,可以看看参考我列出的第5篇文献
3.反向学习算法中,bptt算法将rnn展开后的图,这里的BPTT算法推导,见这儿。