神经网络算法推演-------前馈神经网络（feedforward neural network )

前馈神经网络（feedforward neural network )

学习神经网络的公式推导时，看到一篇很好的文章，所以就搬到了自己的博客，重新编辑了下，也算是自我学习并分享给大家，查看原文请点击===>>>>>

1.1概述

以监督学习为例，假设我们有训练样本集 $\textstyle (x(^ i),y(^ i))$，那么神经网络算法能够提供一种复杂且非线性的假设模型$\textstyle h_{W,b}(x)$，它具有参数 $\textstyle W$，可以以此参数来拟合我们的数据。

为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：

这个“神经元”是一个以$\textstyle x_1, x_2, x_3$及截距$\textstyle +1$ 为输入值的运算单元，其输出为

$$\textstyle h_{W,b}(x) = f(W^Tx) = f(\sum_{i=1}^3 W_{i}x_i +b)$$ ，其中函数 $\textstyle f : \Re \mapsto \Re$ 被称为“ 激活函数”。在本教程中，我们选用sigmoid函数作为”’激活函数”’ $\textstyle f(\cdot)$

$$f(z) = \frac{1}{1+\exp(-z)}.$$

可以看出，这个单一“神经元”的输入－输出映射关系其实就是一个逻辑回归（logistic regression）。

虽然本系列教程采用sigmoid函数，但你也可以选择双曲正切函数（tanh）：

$$f(z) = \tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}},$$

$\textstyle \tanh(z)$ 函数是sigmoid函数的一种变体，它的取值范围为 $\textstyle [-1,1]$，而不是sigmoid函数的$\textstyle [0,1]$。

最后要说明的是，有一个等式我们以后会经常用到：

• 如果选择$\textstyle f(z) = 1/(1+\exp(-z))$ ，也就是sigmoid函数，那么它的导数就是$\textstyle f'(z) = f(z) (1-f(z))$
• 如果选择tanh函数，那它的导数就是$\textstyle f'(z) = 1- (f(z))^2$ ，你可以根据sigmoid（或tanh）函数的定义自行推导这个等式。

1.2 神经网络模型

所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络：

我们使用圆圈来表示神经网络的输入，标上“$\textstyle +1$”的圆圈被称为”’偏置节点”’，也就是截距项。神经网络最左边的一层叫做”‘输入层”’，最右的一层叫做”‘输出层’”（本例中，输出层只有一个节点）。中间所有节点组成的一层叫做”’