吴恩达机器学习笔记——第四周

神经网络

神经网络算法的目的

1. Logistic回归和线性回归很难或者不能处理复杂的非线性分类问题。
2. 很多分类问题需要使用数量巨大的特征，如果要使用二次项表示，会产生更多的特征项。

模型表示

神经元——逻辑单元

如图所示，是一个人工的神经元，它负责将输入信息进行加工之后输出。
其中，第一部分代表的是输入，$x_0=1$为偏置单元；第二部分是神经元，对于输入使用激励函数进行加工；第三部分是输出。
激励函数为：
$g(z)=\frac{1}{1+e^z}$

神经网络

1. 神经网络也就是神经元的集合。
   图中第一部分为输入层，第二部分为隐藏层，第三部分为输出层。
   这个表示法中神经元中的数字代表该神经元计算之后的输出值。
2. 计算过程为：
   以第二层为例：
   输入：
   $\left[\begin{array}{c}{x}_0\\ x\end{array}\right]$
   输入加上权重：
   $z^{(2)}={\theta }_1\left[\begin{array}{c}{x}_0\\ x\end{array}\right]$
   在神经元中经过激励函数加工：
   $a^{(2)}=g({\theta }_1\left[\begin{array}{c}{x}_0\\ x\end{array}\right])$
   这种计算过程又被称作前向传播。