反向传播算法
文章平均质量分 91
Doooer
这个作者很懒,什么都没留下…
展开
-
RNN里的BPTT算法
这两天对RNN循环神经网络进行了学习,由一无所知到现在对什么是RNN以及它的前向传播和反向传播有了认识,尤其是BPTT算法的推导有些繁琐,但是推过一次后,对RNN反向传播求梯度的过程有了更清晰的认识。 下面是朴素的RNN循环神经网络图。 ![RNN网络图](http://img.blog.csdn.net/20170922105751767?watermark/2/text/aHR0cD原创 2017-09-22 11:02:34 · 3923 阅读 · 0 评论 -
DNN中的反向传播算法
对反向传播算法的理解求梯度用反向传播算法,核心是“链式求导”法则,又如何具体实现呢?这里,主要参考Michael Nielsen的Neural Networks and Deep Learning里的第二章。介绍反向传播算法之前,我们需要知道以下几点: - 确定Cost function CC,即损失函数 - 根据CC得出CxC_x,即一个训练样本的损失函数。需要CxC_x的原因是,我们接下来的原创 2017-08-12 15:55:05 · 1630 阅读 · 0 评论