神经网络的运行以及梯度下降法和BP算法

神经网络的运行以及梯度下降法和BP算法

1 神经网络的运作

神经网络运作过程分为学习和工作两种状态。

1.1 神经网络学习状态

神经网络的学习主要是指使用学习算法来调整神经元间的连接权，使得网络输出更符合实际。学习算法主要分为监督学习算法和非监督学习算法两类。监督学习算法是将一组训练集送入网络，根据网络的实际输出与期望输出间的差别来调整连接权。非监督学习算法抽取样本集合中蕴含的统计特性，并以神经元之间的连接权的形式存于网络中。

监督学习算法的主要步骤如下:
(1)从样本集合中取一个样本(A_i, B_i)，其中A_i是输入，B_i是期望输出;
(2)计算网络的实际输出O;
(3)求D= B_i-O;
(4)根据D调整权矩阵W;
(5)对每个样本重复上述过程，直到误差对整个样本集来说不超过规定范围为止。

监督学习算法: Delta 学习规则
Delta学习规则是一种简单的监督学习算法，该算法根据神经元的实际输出与期望输出之间的差别来调整连接权，其数学表示如下:
w_ij (t+1)= w_ij (t)+a(d_i - y_i)x_j(t)
式中，w_ij表示神经元j到神经元i的连接权: d_i 是神经元i的期望输出: y_i是神经元i的实际输出; x_j表示神经元j的状态，若神经元j 处于激活态则 x_j为1,若处于抑制状态则 x_j为0或-1 (根据激活函数而定); a是表示学习速度的常数（学习率）。假设 x_j为1,若d_i比y_i大，那么w_ij将增大；若d_i比