BP神经网络模型与学习算法

在感知器神经网络模型与线性神经网络模型学习算法中，理想输出与实际输出之差被用来估计神经元连接权值误差。当解决线性不可分问题而引入多级网络后，如何估计网络隐含层神经元的误差就成了一大难题。因为在实际中，无法知道隐含层的任何神经元的理想输出值。1985年Rumelhart、McClelland提出了BP网络的误差反向后传（BP）学习算法，实现了Minsky设想的多层神经网络模型。

BP算法在于利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。使用BP算法进行学习的多级肺循环网络称为BP网络，属于前向神经网络类型。虽然这种误差估计本身的精度会随着误差本身“向后传播”而不断降低，但它还是给多层网络的训练提供了比较有效的办法，加之多层前向神经网络能逼近任意非线性函数。

BP神经网络模型

构成BP网络的神经元仍然是神经元。按照BP算法的要求，这些神经元所用的激活函数必须处处可导。一般都使用S型函数。对一个神经元来说，它的网络输入可以表示为：

$$net = \overrightarrow x \cdot \overrightarrow \omega$$

其中$\overrightarrow x$ 表示该神经元所接受的输入，$\overrightarrow \omega$ 表示神经元对应的连接权值。

该神经元的输出为：

$$y = f(net) = \frac{1}{1 + e^{-net}}$$

进一步地，我们可以求y关于net的导数：

$$\begin{align}f'(net) & = \frac{e^{-net}}{(1 + e^{-net})^2} \\& = \frac{1 + e^{-net} - 1}{(1 + e^{-net})^2} \\& = \frac{1}{1 + e^{-net}} - \frac{1}{(1 + e^{-net})^2} \\& = y(1 - y) \end{align}$$

显然地 我们可以注意到

limnet→+∞11+e