BP神经网络的数学原理及其算法实现

说明：

1、本文以截图形式转载自http://blog.csdn.net/zhongkejingwang/article/details/44514073 

2、转载供个人学习研究，对部分内容做出个人笔记。

一、BP神经网络简介

BP神经网络是一种按误差逆传播算法训练的多层前馈网络.它的学习规则是使用梯度下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hiddenlayer)和输出层(output layer)。BP（Back Propagation）算法（反向传播算法）的学习过程，由信息的正向传播和误差的反向传播两个过程组成。

二、数学原理

接下来就是最小化L。通常使用梯度下降法 也就是对每个训练样本都使权重往其负梯度方向变化。

完整代码见github: https://github.com/jingchenUSTC/ANN

个人笔记：原博主的几个示意图真心赞，清晰明了，易于理解。

1、数学推导过程，该博主的推导没有按照概念里的信息的正向传播和误差的反向传播这两个方向来叙述。看起来不是那么顺。

另一篇博主的介绍从两个方向来推导：http://blog.csdn.net/acdreamers/article/details/44657439

2、

上面这个公式不是很明白，道理是这么个道理，但是公式为什么是这种形式。

3、

下标从0开始的原因，个人认为：从隐层到输出层，输出层的每个节点的值除了跟前一层的权值有关外，各个节点还有阈值，将阈值与权值公式整合后，得到上面的公式。

θ(⋅)