神经网络介绍

概述

以监督学习为例，假设我们有训练样本集$(x_i,y_i)$,那么神经网络算法能够提供一种复杂且非线性的假设模型$h_{W,b}(x)$, 它具有参数$W,b$, 可以以此参数来拟合我们的数据。
为了描述神经网络（neural networks），我们先从最简单的神经网络讲起， 这个神经网络仅由一个“神经元”构成，以下就是这个“神经元”的图示：

这个“神经元”是一个以 $x_1,x_2,x_3$及截距+1为输入值的运算单元，其输出为 $h_{W,b}(x)=f(W^Tx+b)=f(\sum_{i=1}^3 W_ix_i+b_i)$, 其中函数f被称为“激活函数”。在本教程中，我们选用sigmoid函数作为 激活函数 $f(.)$
$$f(z) = \frac {1}{1+exp(-z)}$$ 可以看出，这个单一“神经元”的输入输出映射关系其实就是一个逻辑回归（logistic regression）。
虽然本系列教程采用sigmoid函数，但你也可以选择双曲正切函数（tanh）：
$$f(z)= tanh(z) = \frac{(e^z-e^{-z})}{(e^z+e^{-z})}$$
以下分别是sigmoid及tanh的函数图像




$tanh(z)$函数是sigmoid函数的一种变体，它的取值范围是[-1,1],而不是sigmoid函数的[0,1]。

注意，我们用单独的参数b来表示截距。
最后要说明的是，有一个属性我们以后会经常用到：如果选择$f(z)=\frac{1}{1+exp(-z)}$也就是sigmoid函数，那么它的导数就是

$$f'(z) = f(z)(1-f(z))$$ (如果选择tanh函数，那它的导数就是

f′(z)=1−(f(z))2）