吴恩达机器学习——第9章 神经网络学习

1、概述

1.1 目的

神经网络是用来解决海量特性下，一般机器学习方法无法胜任的问题。

假如某批数据有100个特征，为了很好的适应训练集，评估函数可能需要采用二次项、三次项、n次项，如下所示：
$$h_{\theta }(X)=x_1^2+x1\ast x_2+x_1\ast x_3+......+x_1\ast x_n+x_2^2+x_2\ast x_3+x_2\ast x_4+x_2\ast x_5+....$
评估函数的特征空间急剧变大，大于等于$\frac{n^2}{2}$。这种情况下，再使用线性回归的方式，计算量就无法忍受了。

再比如图片识别的例子。每张图片都是由像素构成的，图像识别其实就是对像素特征的学习过程。由于一张图片的像素数是非常大的，尤其是现在的高清图片，像素数都是海量的，特征空间就显得尤为巨大。

而神经网络就是为解决这类问题而生的。

2、来源

神经网络的灵感来自于人脑，人脑是世界上最神奇的计算机，无论是听觉、视觉还是触觉、嗅觉，都能非常快速精准的计算出结果。

那是不是人类的大脑需要对于不同的输入例如听觉、视觉，要使用不同的部位进行处理呢？

科学家做了很多实验，他们把动物的眼睛的神经接入到大脑的“听觉皮层（专门用来处理听觉的部位）”，结果发现动物可以正常看东西；
把动物的眼睛的神经接入到大脑的“触觉皮层（专门用来处理触觉的部位）”，结果发现动物仍然可以正常看东西；

这说明大脑的各个位置虽然各司其职，但本质上他们都是一样的，都可以处理不同的输入源。

人们从中得到启发，想通过一套算法模型实现对不同输入数据的处理，这就是神经网络。

3、模型

单个神经元可以表示为：

多个神经元组成神经网络，表示为：

上图省略了$x_0$特征，因为该特征的值是固定的：1。
神经网络的术语：

• 分层：每一列代表一层，最左边的是输入层，最右边的是输出层，中间的叫隐藏层。
• 激活函数：非线性函数g(z)，该函数就是逻辑回归中使用的函数：$g(z)=\frac{1}{1+e^{-z}}$
• 激活值：每一层的输出，称为激活值。
• ${\alpha }_i^{(j)}$：表示第j层，第i个神经元的激活项。
• ${\theta }^{(j)}$：之前的参数，在这里可以称之为权重矩阵，${\theta }^{(j)}$表示从第j层到第j+1层的权重矩阵。

神经网络的数学表达式为：

第二层的表达式为：

$a_1^{(2)}=g({\theta }_{10}^{(1)}\ast x_0+{\theta }_{11}^{(1)}\ast x_1+{\theta }_{12}^{(1)}\ast x_2+{\theta }_{13}^{(1)}\ast x_3)$

$a_2^{(2)}=g({\theta }_{20}^{(1)}\ast x_0+{\theta }_{21}^{(1)}\ast x_1+{\theta }_{22}^{(1)}\ast x_2+{\theta }_{23}^{(1)}\ast x_3)$

$a_3^{(2)}=g({\theta }_{30}^{(1)}\ast x_0+{\theta }_{31}^{(1)}\ast x_1+{\theta }_{32}^{(1)}\ast x_2+{\theta }_{33}^{(1)}\ast x_3)$

因为$a_i^{(2)}$是输出层的输入，所以输出层的表达式为：

$h_{\theta }(x)=a_1^{(3)}=g({\theta }_{10}^{(2)}\ast a_0^{(2)}+{\theta }_{11}^{(2)}\ast \ast a_1^{(2)}+{\theta }_{12}^{(2)}\ast \ast a_2^{(2)}+{\theta }_{13}^{(2)}\ast \ast a_3^{(2)})$

3.1 向量化表示

下面做个假设，假设
$z_1^{(2)}={\theta }_{10}^{(1)}\ast x_0+{\theta }_{11}^{(1)}\ast x_1+{\theta }_{12}^{(1)}\ast x_2+{\theta }_{13}^{(1)}\ast x_3$
$z_2^{(2)}={\theta }_{20}^{(1)}\ast x_0+{\theta }_{21}^{(1)}\ast x_1+{\theta }_{22}^{(1)}\ast x_2+{\theta }_{23}^{(1)}\ast x_3$
$z_3^{(2)}={\theta }_{30}^{(1)}\ast x_0+{\theta }_{31}^{(1)}\ast x_1+{\theta }_{32}^{(1)}\ast x_2+{\theta }_{33}^{(1)}\ast x_3$

$X=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ x_3\end{array}\right]$
$z^{(2)}=\left[\begin{array}{c}{z}_1^{(2)}\\ z_2^{(2)}\\ z_3^{(2)}\end{array}\right]={\theta }^{(1)}\ast X$
则上述的表达式简化为：
$a_1^{(2)}=g(z_1^{(2)})$

$a_2^{(2)}=g(z_2^{(2)})$

$a_3^{(2)}=g(z_3^{(2)})$

$h_{\theta }(x)=a^{(3)}=g(z^{(3)})$

3.2 前向传播

我们观察神经网络的计算过程，第一层的数据经过激活函数处理后的激活值，作为第二层的输入；第二层的数据经过激活函数处理后的激活值，作为第三层的输入；以此类推。

如果了解过map-reduce算法的话，可以看出这两种算法有异曲同工之妙；学过编程的同学，会不会觉得这个算法与递归很类似。

神经网络的这种层层计算的方式，称之为前向传播。

4 示例

假设y的取值范围是(0,1)，特征有两个($x_1,x_2$)。

4.1 实现and判断

and关系的判断逻辑如下：

$x_1$	$x_2$	y
0	0	0
0	1	0
1	0	0
1	1	1

则评估函数为：$h_{\theta }(x)=g(-30+20x_1+20x_2)$
对应的图形为：

得出的结论是：

• 当z>4.6时，$g(z)\approx 1$
• 当z<-4.6时，$g(z)\approx 0$

把X值代入到g(z)中，计算结果如下：

$x_1$	$x_2$	y
0	0	$g(-30)\approx 0$
0	1	$g(-10)\approx 0$
1	0	$g(-10)\approx 0$
1	1	$g(10)\approx 1$

正好与and的计算结果保持一致。

4.2 实现or判断

or关系的判断逻辑如下：

$x_1$	$x_2$	y
0	0	0
0	1	1
1	0	1
1	1	1

只要是$\theta =[-10,20,20]$即可实现or的效果，不再赘述。

4.3 实现not判断

not关系的判断逻辑如下：

$x_1$	$x_2$	y
0	0	1
0	1	0
1	0	0
1	1	0

只要是$\theta =[10,-20,-20]$即可实现$(not{x}_1)and(not{x}_2)$的效果，不再赘述。

4.4 实现XNOR判断

XNOR关系的判断逻辑如下：

$x_1$	$x_2$	y
0	0	1
0	1	0
1	0	0
1	1	1

上面3种逻辑运算，都是通过一层神经网络完成的，XNOR比较复杂，它的表达式是
$(x_{1}and{x}_2)or(x_1^{‘}and{x}_2^{‘})$
其中$x_1^{‘}$代表的是$not{x}_1$的意思。

用神经网络图形来表示XNOR计算为：

分析一下上面的图形：

• 第一层红色的线代表的是and运算，计算结果是$a_1^{(2)}$。
• 第一层蓝色的线代表的是not运算，计算结果是$a_2^{(2)}$。
• 第二层绿色的线代表的是or运算，计算结果是$h_{\theta }(x)=a_1^{(3)}$。

代入X值后，计算结果如下，与XNOR是一致的：

$x_1$	$x_2$	$a_1^{(2)}$	$a_2^{(2)}$	y
0	0	0	1	1
0	1	0	0	0
1	0	0	0	0
1	1	1	0	1