从上一篇原创的文章到现在,已经有一年多了,目前终于有一些新的总结分享个大家。
本文主要讲了RNN神经网络的基本原理,并给出了RNN神经网络参数更新的详细推导过程(back propagation),对于想知道RNN的参数是如果推导的,可以仔细阅读本文。
因为时间有限,下面的总结难免有疏漏之处,请大家指正。
本文结合了一个非常经典的RNN的例子代码,进行了详细的说明,RNN的代码以及注释请见:https://github.com/weixsong/min-char-rnn
并且,本文给出了验证为什么在output layer采用sigmoid激活函数的时候应该采用cross entropy error作为cost function。
本文目录: