神经网络笔记(Neural Network)

给定训练样本集$(x^{(i)},y^{(i)})$，神经网络定义了一种参数为$W,b$的复杂非线性的假设$h_{W,b}(x)$，来拟合数据。

最简单的神经网络是神经元，如下图：

这个神经元输入$x_1,x_2,x_3$和一个$+1$截距(b表示)，输出为$h_{W,b}(x)=f(W^Tx)=f(∑^3_{i=1}W_ix_i+b)$。函数$f:\mathbb{R} \mapsto \mathbb{R}$称为激活函数。常用的激活函数为sigmoid函数：$f(z)=\frac{1}{1+e^{-z}}$，$f^{'}(z)=f(z)(1-f(z)$，而如此，单个神经元就直接是一个logistic regression。
其他常用的激活函数还有tanh函数：$f(z)=tanh(z)=\frac{e^z−e^{−z}}{e^z+e^{−z}}$，$f^{'}(z)=1-(f(z))^2$，它将sigmoid函数的值域扩展到了$[-1,1]$；以及最近研究发现的rectified linear函数：$f(z)=max(0,z)$，其导数当$z\le0$时为0，其余为1。
以下是三个函数的图像：

Neural Network model

将多个神经元连接起来便成了神经网络，如下图的例子：

$+1$称为偏置节点，截距项。最左边一层为输入层，最右层为输出层。中间层为隐藏层，因为不能在训练样本集中观测到他们的值。不包括偏置结点，以上神经网络拥有3个输入单元，3个隐藏单元和1个输出单元。

用$n_l$来表示神经网络的层数，比如以上例子$n_l=3$；用$L_l$来表示第$l$层，比如以上例子输入层为$L_1$，$L_{n_l}$为输出层。
以上例子中，神经网络的参数为$(W,b)=(W^{(1)},b^{(1)},W^{(2)},b^{(2)})$，$W_{ij}^{(l)}$表示第$l$层第$j$单元与第$l+1$层第$i$单元的偏置项。在以上神经网络中$W^{(1)}\in \mathbb{R}^{3*3},W^{(2)}\in \mathbb{R}^{1*3}$。用$s_l$表示第$l$层的节点数，不计偏置单元。

用$a^{(l)}_i$表示第$l$层第$i$单元的激活值。当$l=1$时，$a^{(1)}_i = x_i$，为第$i$个输入值。对于给定参数集合$W,b$，神经网络就可以按照函数$h_{W,b}(x)$来计算输出结果。

Forward Propagation

以上神经网络计算步骤如下：
$a_1^{(2)} = f(W_{11}^{(1)}x_1 + W_{12}^{(1)} x_2 + W_{13}^{(1)} x_3 + b_1^{(1)})$
$a_2^{(2)} = f(W_{21}^{(1)}x_1 + W_{22}^{(1)} x_2 + W_{23}^{(1)} x_3 + b_2^{(1)})$
$a_3^{(2)} = f(W_{31}^{(1)}x_1 + W_{32}^{(1)} x_2 + W_{33}^{(1)} x_3 + b_3^{(1)})$
$h_{W,b}(x) = a_1^{(3)} = f(W_{11}^{(2)}a_1^{(2)} + W_{12}^{(2)} a_2^{(2)} + W_{13}^{(2)} a_3^{(2)} + b_1^{(2)})$

在上面等式中，通常用$z_i^{(l)}$表示$l$层第$i$单元总的带权输出。比如 z(2)i=∑nj=1W(1)