BP神经网络学习

一、概述

BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。

二、训练过程

网络结构：前馈过程
1、设网络输入为x，则隐含层第j个结点的输入为：

网络输出层第k个结点的输入为：

因此，网络输出层第k个结点的输出为：


2、训练过程
假设N个样本在网络中的总误差为：

其中 表示第n个样本对应标签的第k维， 表示第n个样本在网络输
出的第k维。在多类分类问题中，输出一般组织为“one-of-c”的形式。
如果考虑随机梯度下降，则单个样本的误差为：

网络学习的目的是根据训练数据的误差E对于各个参数的梯度，求解
参数调整量：

其中输出层权重调整量：

输出层阈值调整：


回顾E, netk, yk的定义

可得：