最近几天综合的看了一下以前上课用的CMU的Tom M.Mitchell的机器学习,Michael A. Nielsen, "Neural Networks and Deep Learning" ,还有赵永科著的深度学习,21天实战caffe。一次性接受的有点多。但是,万变不离其宗,总归是用反向传播算法。细致的做一下笔记,以供后续参考。
混合着英文和中文!!!
input training examples<(,t)>
首先定义以下几个notations。
:网络的输出;
:输出单元的误差项(error item);
:对于隐藏层h的误差项;
解释一下:
同理,就是j单元,第i个输入,是相应的权值大小。