Andrew Ng机器学习入门学习笔记（四）之神经网络（一）

一.神经网络的优势

对于复杂的非线性分类问题，当特征变量个数$n$很大时，用逻辑回归时$S型函数g(\theta^Tx)中的\theta^Tx$如果用二次多项式表示，则二次项数目很多，约为$n^2$，计算复杂度达到$o(n^2)$；如果用三次多项式表示，则三次项数目更多，复杂度达$o(n^3)$。

而神经网络能很好的解决上面那种复杂的非线性分类问题。

二.神经网络的模型

1.神经元的模型

图中橘黄色部分即为一个神经元，$x_1,x_2,x_3$是其输入，$h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$，我们称这是一个以S型函数作为激励函数的人工神经元。

2.神经网络的模型

神经网络是一组神经元的组合，如下：

神经网络的模型分为输入层，隐藏层和输出层，其中隐藏层可能有多层。每个层次包含一个或多个单元。如上图中输入层包括$x_0,x_1,x_2,x_3$四个单元，其中$x_0=1$是偏置单元。上图的隐藏层只有一层，加上偏置单元一共有四个单元。上图的输出层只有一个单元。

三.神经网络的相关参数及前向传播计算

$a_i^{(j)}$——第$j$层第$i$个神经元的激励

$\Theta^{(j)}$——权重矩阵，控制着从第$j$层到第$（j+1）$层的函数映射。(为了以示区别，这里是大写的$\Theta$)

具体映射关系表现为：

$$a_1^{(2)}=g(\Theta_{10}^{(1)}x_0+\Theta_{11}^{(1)}x_1+\Theta_{12}^{(1)}x_2+\Theta_{13}^{(1)}x_3)=g(z_1^{(2)})$$ $$a_2^{(2)}=g(\Theta_{20}^{(1)}x_0+\Theta_{21}^{(1)}x_1+\Theta_{22}^{(1)}x_2+\Theta_{23}^{(1)}x_3)=g(z_2^{(2)})$$ $$a_3^{(2)}=g(\Theta_{30}^{(1)}x_0+\Theta_{31}^{(1)}x_1+\Theta_{32}^{(1)}x_2+\Theta_{33}^{(1)}x_3)=g(z_3^{(2)})$$

hΘ(x)=a(3)1=g(Θ(2)10a