吴恩达机器学习笔记（五）

神经网络

1.1 背景

之前的课程中讲解了使用线性回归与逻辑回归实现回归与分类任务，对于比较复杂的问题，构造的假设函数都是很复杂的 非线性假设，如下所示的数据，如果我们想要实现对两类数据的分类，可能需要构造一个如下所示的逻辑回归假设：
$$g\left[{\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1{x}_2+{\theta }_4{x}_1^2{x}_2+{\theta }_5{x}_1^3{x}_2+{\theta }_6{x}_1{x}_2^2+\cdots \right]$$

可以看到，我们通过复杂的多项式假设函数，实现了分类问题，但是其中包含了很多项，使得假设函数太复杂。

如果一个数据包含多个特征 $x_1,x_2,x_3,\cdots ,x_n$，如果我们仍然想要使用多项式回归，那么仅仅二次项 $x_1^2,x_1{x}_2,x_1{x}_3,\cdots$ 的个数都会以 $O(n^2)$ 的数量级增大，而如果想要在多项式中包含三次项 $x_1^3,x_1{x}_2{x}_3,x_1{x}_2{x}_4,\cdots$ ，其项数会以 $O(n^3)$ 的量级增大，并且由于特征项过多，会造成过拟合或计算量过大的问题。

对于如下的一张汽车图片，如果图片大小为 $50\times 50$，那么其特征的个数就有 $2500$ 个，如果直接使用多项式回归，其中二次项的个数就能达到三百多万，我们找到三百多万特征表示一张图片代价太大。

所以在特征很多时，使用线性回归或逻辑回归的假设函数是一个非常坏的选择，所以对于特征过多的问题，我们可以选择神经网络作为假设函数。

神经网络的方法最初是为了模拟人脑实现人工智能，但是由于一些原因中间沉寂了一段时间，近些年随着运算能力的提升，这种方法被广泛应用到机器学习中。由于人的神经具有很强的学习能力，所以人们试图构建和人体神经相似的学习过程。

1.2 神经网络的表示

下图是人体神经元的结构，通过树突到轴突末梢的信号传递，实现信息的传递。多个神经元就组成了神经。

我们在计算机上构造一个 逻辑单元 来模拟 神经元，下图就是一个逻辑神经元，

该神经元也表示一个假设函数：
$$h_{\theta }(x)=g({\theta }^{T}x)=g({\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3)$$

其中 $x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$ 表示输入的特征，$\theta =\left[\begin{array}{c}{\theta }_1\\ {\theta }_2\\ {\theta }_3\end{array}\right]$ 表示参数（也称为权重），$g(x)$ 表示激活函数。有时也会加入 $x_0=1$ 的偏置项，其包含偏置参数 ${\theta }_0$，如下所示。
$$h_{\theta }(x)=g({\theta }^{T}x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3)$$

如果激活函数使用之前说的 Sigmoid 函数，那么就称为带有 Sigmoid 激活函数的神经元。

神经网络 其实就是一组神经元连接在一起的集合，下图表示一个三层的神经网络，其中第一层称为 输入层，最后一层为 输出层，除输入和输出层的其他层为 隐藏层。其中的 $a_i^{(j)}$ 表示第 $j$ 层的第 $i$ 个元素，${\theta }^{(j)}$ 表示第 $j$ 层到第 $j+1$ 层的映射矩阵。

上图的计算过程如下所示，首先计算第二层的结果：
$$\begin{array}{r}{a}_1^{(2)}=g({\theta }_{11}^{(1)}{x}_1+{\theta }_{12}^{(1)}{x}_2+{\theta }_{13}^{(1)}{x}_3)\\ a_2^{(2)}=g({\theta }_{21}^{(1)}{x}_1+{\theta }_{22}^{(1)}{x}_2+{\theta }_{23}^{(1)}{x}_3)\end{array}$$

再根据第二层的结果得到整个神经网络的输出：
$$h_{\theta }(x)=a^{(3)}=g({\theta }_1^{(2)}{a}_1^{(2)}+{\theta }_2^{(2)}{a}_2^{(2)})$$

如下图，如果我们加入偏置项 $x_0=1,a_0^{(2)}=1$，那么整个计算过程变为：
$$\begin{array}{rl}{a}_1^{(2)}& =g({\theta }_{10}^{(1)}{x}_0+{\theta }_{11}^{(1)}{x}_1+{\theta }_{12}^{(1)}{x}_2+{\theta }_{13}^{(1)}{x}_3)\\ a_2^{(2)}& =g({\theta }_{20}^{(1)}{x}_0+{\theta }_{21}^{(1)}{x}_1+{\theta }_{22}^{(1)}{x}_2+{\theta }_{23}^{(1)}{x}_3)\\ h_{\theta }(x)=a^{(3)}& =g({\theta }_0^{(2)}{a}_0^{(2)}+{\theta }_1^{(2)}{a}_1^{(2)}+{\theta }_2^{(2)}{a}_2^{(2)})\end{array}$$

对于其中的参数 $\theta$ 和输入 $x$ ，我们可以将他们写成矩阵的形式：
$$x=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ x_3\end{array}\right],{\theta }^{(1)}=\left[\begin{array}{cccc}{\theta }_{10}^{(1)}& {\theta }_{11}^{(1)}& {\theta }_{12}^{(1)}& {\theta }_{13}^{(1)}\\ {\theta }_{20}^{(1)}& {\theta }_{21}^{(1)}& {\theta }_{22}^{(1)}& {\theta }_{23}^{(1)}\end{array}\right],a^{(2)}=\left[\begin{array}{c}{a}_0^{(2)}\\ a_1^{(2)}\\ a_2^{(2)}\end{array}\right],{\theta }^{(2)}=\left[\begin{array}{ccc}{\theta }_{10}^{(2)}& {\theta }_{11}^{(2)}& {\theta }_{12}^{(2)}\end{array}\right]$$

所以上面的计算过程可以表示为：
$$\begin{array}{rl}\left[\begin{array}{c}{a}_1^{(2)}\\ a_2^{(2)}\end{array}\right]& =g({\theta }^{(1)}x)=g\left(\left[\begin{array}{cccc}{\theta }_{10}^{(1)}& {\theta }_{11}^{(1)}& {\theta }_{12}^{(1)}& {\theta }_{13}^{(1)}\\ {\theta }_{20}^{(1)}& {\theta }_{21}^{(1)}& {\theta }_{22}^{(1)}& {\theta }_{23}^{(1)}\end{array}\right]\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ x_3\end{array}\right]\right)\\ \begin{array}{c}{a}^{(3)}\end{array}& =g({\theta }^{(2)}{a}^{(2)})=g\left(\left[\begin{array}{ccc}{\theta }_{10}^{(2)}& {\theta }_{11}^{(2)}& {\theta }_{12}^{(2)}\end{array}\right]\left[\begin{array}{c}{a}_0^{(2)}\\ a_1^{(2)}\\ a_2^{(2)}\end{array}\right]\right)\end{array}$$

从上面的计算过程，我们可以看出，如果 $j$ 层有 $s_j$ 个神经元，$j+1$ 层有 $s_{j+1}$ 个神经元，那么 $\theta$ 参数就是一个 $s_{j+1}\times (s_j+1)$ 的矩阵。

通过一系列计算，我们可以得到输入 $x$ 通过假设函数 $h_{\theta }(x)$ 最终的到的结果 $h_{\theta }(x)=a^{(3)}$，这个计算 $h(x)$ 的过程也称为 前向传播，这是因为我们将输入 $x$ 向前传播，依次计算隐藏层、输出层的结果，从输入层到隐藏层再到输出层的过程就称为前向传播。

如下图所示的神经网络，如果我们选择 Sigmoid 激活函数，那么 $a^{(2)}$ 中的每个元素都可以看作是由 $x$ 通过逻辑回归的方式得到的结果（其中的参数是 ${\theta }^{(1)}$），而 $a^{(3)}$ 又可以看成 $a^{(2)}$ 中的每个元素通过逻辑回归计算得到的结果（其中的参数是 ${\theta }^{(2)}$），所以整个过程可以看作，首先通过第一层逻辑回归，学习到一些更加复杂和有效的特征，对这些特征再进行逻辑回归就可以得到一个更好的假设函数，我们可以通过第一层的逻辑回归快速学习任意的特征项。

下图所示是一个更加复杂的神经网络，该网络可以通过两层隐藏层进行两次逻辑回归，从而提取出更加有用的特征，最终实现更加高效的假设函数。

1.3 神经网络实现逻辑运算

这里通过具体的例子来说明神经网络是怎样计算复杂非线性函数的输入，并且介绍神经网络是怎么构成复杂的非线性假设模型。

1.3.1 利用神经元实现 AND 运算

AND 运算 是一个基本的逻辑运算，其作用在两个特征 $x_1,x_2$ 上，利用真值表可以表示为：

$x_1$	$x_2$	$x_1\text{AND}{x}_2$
0	0	0
1	0	0
0	1	0
1	1	1

我们可以构建如下的神经元实现该逻辑运算：

通过该神经元可以建立如下假设函数，其中 $g(x)=\frac{1}{1+e^{-x}}$ 表示 Sigmoid 函数：
$$\begin{array}{rl}{h}_{\theta }(x)& =g({\theta }_0^{(1)}{x}_0+{\theta }_1^{(1)}{x}_1+{\theta }_2^{(1)}{x}_2)\\ & =g(-30+20x_1+20x_2)\end{array}$$

我们分别将 $x_1,x_2$ 的取值带入，根据 Sigmoid 的特点，可以得到如下的结果：

$x_1$	$x_2$	$g(-30+20x_1+20x_2)$
$0$	$0$	$g(-30)\approx 0$
$1$	$0$	$g(-10)\approx 0$
$0$	$1$	$g(-10)\approx 0$
$1$	$1$	$g(10)\approx 1$

根据结果可以发现，通过这个神经元，已经实现了 AND 运算。

1.3.2 利用神经元实现 OR 运算

OR 运算 是另一个基本的逻辑运算，其真值表为：

$x_1$	$x_2$	$x_1\text{OR}{x}_2$
0	0	0
1	0	1
0	1	1
1	1	1

同样，我们构造如下的神经元：

新的假设函数为：
$$\begin{array}{rl}{h}_{\theta }(x)& =g({\theta }_0^{(1)}{x}_0+{\theta }_1^{(1)}{x}_1+{\theta }_2^{(1)}{x}_2)\\ & =g(-10+20x_1+20x_2)\end{array}$$

计算结果为：

$x_1$	$x_2$	$g(-10+20x_1+20x_2)$
$0$	$0$	$g(-10)\approx 0$
$1$	$0$	$g(10)\approx 1$
$0$	$1$	$g(10)\approx 1$
$1$	$1$	$g(30)\approx 1$

1.3.3 利用神经元实现 NOT 运算

OR 运算 的真值表为：

$x_1$	$\text{NOT}{x}_1$
0	1
1	0

构造神经元：

假设函数：
$$\begin{array}{rl}{h}_{\theta }(x)& =g({\theta }_0^{(1)}{x}_0+{\theta }_1^{(1)}{x}_1)\\ & =g(10-20x_1)\end{array}$$

计算结果：

$x_1$	$g(10-20x_1)$
$0$	$g(10)\approx 1$
$1$	$g(-10)\approx 0$

1.3.4 利用神经元实现 XNOR 运算

XNOR 同或 运算是一个二元运算符，当两个特征 $x_1,x_2$ 相同时结果为 $1$，两个特征不同时结果为 $0$，真值表为：

$x_1$	$x_2$	$x_1\text{XNOR}{x}_2$
0	0	1
1	0	0
0	1	0
1	1	1

为了能够实现同或 XNOR 运算，我们可以构建一个三层的神经网络，也就是用如下的三个神经元的组合来实现：

我们利用上图的三个神经元构造如下的神经网络：

其中：
$$\begin{array}{rl}{a}_1^{(2)}& =g(-30+20x_1+20x_2)\\ a_2^{(2)}& =g(10-20x_1-20x_2)\\ a_1^{(3)}& =g(-10+20a_1^{(2)}+20a_2^{(2)})\end{array}$$

将 $x_1,x_2$ 的值分别带入，可以得到：

$x_1{x}_2$	$a_1^{(2)}$	$a_2^{(2)}$	$h_{\theta }(x)$
$00$	$g(-30)\approx 0$	$g(10)\approx 1$	$g(10)\approx 1$
$01$	$g(-10)\approx 0$	$g(-10)\approx 0$	$g(-10)\approx 0$
$10$	$g(-10)\approx 0$	$g(-10)\approx 0$	$g(-10)\approx 0$
$11$	$g(10)\approx 1$	$g(-30)\approx 0$	$g(10)\approx 1$

可以看到，我们通过多个不同神经元的组合，最终得到了可以实现同或操作的逻辑门。

通过中间隐藏层，计算出关于输入的较复杂的一些特征，通过最后的输出层，构成一个可以实现更加复杂操作的非线性函数，因此层数越多，可以实现的函数就越来越复杂，也就能实现更加困难的任务。

1.4 多分类问题

为了让神经网络进行多分类任务，我们可以通过在输出层增加神经元实现，下图所示的神经网络包含四个输入神经元，每个神经元可以输出的结果为 $0$ 或 $1$，我们可以用如下四个输出表示四种分类：
$$h_{\theta }(x)=\left[\begin{array}{c}1\\ 0\\ 0\\ 0\end{array}\right]或\left[\begin{array}{c}0\\ 1\\ 0\\ 0\end{array}\right]或\left[\begin{array}{c}0\\ 0\\ 1\\ 0\end{array}\right]或\left[\begin{array}{c}0\\ 0\\ 0\\ 1\end{array}\right]$$

为了让训练集和输出结果对应，我们需要将训练集中的标签页表示为相同的形式，对于训练集 { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , ⋯   , ( x ( n ) , y ( m ) ) } \{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots,(x^{(n)},y^{(m)})\} {(x(1),y(1)),(x(2),y(2)),⋯,(x(n),y(m))}，我们可以将不同类型的标签 $y^{(i)}$ 表示为：
$$y^{(i)}=\left[\begin{array}{c}1\\ 0\\ 0\\ 0\end{array}\right]或\left[\begin{array}{c}0\\ 1\\ 0\\ 0\end{array}\right]或\left[\begin{array}{c}0\\ 0\\ 1\\ 0\end{array}\right]或\left[\begin{array}{c}0\\ 0\\ 0\\ 1\end{array}\right]$$

参考：

---

1. 神经网络浅讲：从神经元到深度学习