Coursera机器学习笔记 第4周 第八章 神经网络：表述（一）

第八章 神经网络：表述（一）

第1节 动机（Motivations）

8.1 非线性假设

参考视频：8 - 1 - Non-linear Hypotheses (10 min).mkv

前面我们学习了逻辑回归，它们可以很好的解决一些线性的分类问题。但是对于非线性问题，它们很难画出分类边界线。如下图。

如果要实现非线性模型，需要增加模型复杂度（增加特征组合和特征多次项）。但是，当特征太多时，计算的负荷会非常大：假设我们的数据有100个特征，用这100个特征来构建一个非线性的多项式特征模型，特征组合会非常多。即使只采用两两特征的组合，也有将近5000个特征($C_{100}^2$)，这对逻辑回归来说需要计算的特征太多了。

再如在图像识别中，一个50×50像素的图片，每个元素当作一个特征的话，拥有的特征量为2500，那么它的二次项数为$C_{2500}^2$（大约为3百万个）特征。普通的逻辑回归模型不能有效地处理这么多特征，神经网络可以帮助我们。

8.2 神经元和大脑

参考视频：8 - 2 - Neurons and the Brain (8 min).mkv

神经网络是一种很古老的算法，它最初产生目制造能模拟最神奇的学习机器——人类的大脑。神经网络不仅在逻辑上行得通，之后我们会看到，而且也能很好地解决不同的机器学习问题。

神经网络逐渐兴起于二十世纪八九年代，应用得非常广泛。但由各种原因在90年代后期应用变少。最近，它又东山再起了。其中一个原因是：神经网络时计算量偏大的算法。然而由于近些年计算机的运行速度变快，才足以真正运行其大规模的神经网络。而且，如今的神经网络对于许多应用来说是最先进的技术。

我们能学习数学，学着做微积分，而且大脑能处理各种不同的令人惊奇的事情。似乎如果你想要模仿它，你得些很多不同的程序来模拟这些五花八门的事情。不过，能不能假设大脑做这些事情的方法仅仅需要一个单一的学习算法？尽管这是一个假设，不过确实有一些这方面的证据：事例略。

神经网络可能为我们打开一扇进入遥远的人工智梦窗户，但在这节课中讲授神经网络的原因主要是对于现代机器学习应用。它是最有效的计数方法，因此在接下来的课程中，我们将开始深入到神经网络的技术细节。

第2节 神经网络（Neural Networks）

8.3 模型表示1

参考视频：8 - 3 - Model Representation I (12 min).mkv

我们思考一下大脑中的神经网络：每一个神经元都包含一个神经核（nucleus），许多突触（dendrite）和一个轴突（axon）。它们分别被看作处理单元、输入单元和输出单元（processing unit、input unit、output unit）。神经网络是大量元相互连接并通过电脉冲来交流的一个网络。 神经元如下图：

神经网络建立在很多神经元上，我们把其中一个个神经元看作是一个个学习模型。这些神经元（也叫激活单元，activation unit）采纳一些特征作为输入，并根据自身的模型提供一个输出，或者说这些神经元具有计算功能。下图是一个以逻辑回归模型作为自身学习模型的神经元示例。在神经网络中，参数又可被称为权重（weights）。

上图中的偏差单元（bias unit）$x_0$固定为1。$x_0,x_1,x_2,x_3$不进行计算，只向下一层提供数据。右边神经元采取的计算模型为$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$，此处和逻辑回归相同。

下图是一个稍微复杂的三层神经网络：

神经网络是许多逻辑单元按照不同层级组织起来的网络，每一层的输出变量都是下一层的输入变量。对上图中的三层神经网络予以说明：

• 第一层（输入层，input layer）：$x_1,x_2,x_3$是输入单元（input unit），增加偏差单元$x_0$并将其固定为1。输入层不进行计算，唯一功能是向下一层传递数据。
• 第二层或中间层（隐藏层，hidden layer）：中间层负责接收上一层的数据$x_0,x_1,x_2,x_3$，经过计算后将结果$a_1,a_2,a_3$（增加偏差单元$a_0=1$）传递给下一层。
• 第三层（输出层，output layer）：接收上一层的数据$a_0,a_1,a_2,a_3$，用来计算$h_{\theta }(x)$。
• 神经元发出的箭头代表数据的流向，由一个神经元发出的不同箭头传递的是相同的数据。需要向下一层传递数据的层都需要增加偏差单元。
• 偏差单元不算激活单元，因为它是人为添加的，而且值固定为1。输入层的输入单元算不需要计算的激活单元，只需要向下一层传递数据。
• 神经网络命名：我们把需要计算的层次称之为“计算层”，一般把拥有一个计算层的网络称之为“单层神经网络”。在本文里，我们简单地根据神经网络的层数来命名。

下面引入一些标记法来帮助描述模型：

• $a_i^{(j)}$: 第j层的第$i$个激活单元。
• ${\Theta }^{(j)}$: 从第$j$层映射到第$j+1$层的权重矩阵。权重矩阵的尺寸为：以第$j+1$层的激活单元数为行数，以第$j$层的激活单元数加1为列数。例如，上图所示的神经网络中的${\theta }^{(1)}$的尺寸为3*4。

对于上图所示的模型来说，中间层的激活单元$a_1,a_2,a_3$和输出$h_{\theta }(x)$分别表达为：$$\begin{gathered} a_1^{(2)}=g({\Theta }_{10}^{(1)}{x}_0+{\Theta }_{11}^{(1)}{x}_1+{\Theta }_{12}^{(1)}{x}_2+{\Theta }_{13}^{(1)}{x}_3) \\ {a}_2^{(2)}=g({\Theta }_{20}^{(1)}{x}_0+{\Theta }_{21}^{(1)}{x}_1+{\Theta }_{22}^{(1)}{x}_2+{\Theta }_{23}^{(1)}{x}_3) \\ {a}_3^{(2)}=g({\Theta }_{30}^{(1)}{x}_0+{\Theta }_{31}^{(1)}{x}_1+{\Theta }_{32}^{(1)}{x}_2+{\Theta }_{33}^{(1)}{x}_3) \\ {h}_{\Theta }(x)=a_1^{(3)}=g({\Theta }_{10}^{(2)}{a}_0^{(2)}+{\Theta }_{11}^{(2)}{a}_1^{(2)}+{\Theta }_{12}^{(2)}{a}_2^{(2)}+{\Theta }_{13}^{(2)}{a}_3^{(2)}) \end{gathered}$$

我们知道每个中间层的激活单元$a$都是由上一层的输出决定的，我们把这样从左到右计算的过程称为正向传播算法（Forward Propagation）。

上面的讨论只是将数据集中的一个训练实例喂给了神经网络，而我们需要将整个数据集都喂给神经网络来进行学习。用矩阵形式来表示，把数据集$X$中的一个实例$x$从第一层到第二层的计算过程为：$g({\Theta }^{(1)}\cdot x)=a^{(2)}$，其中 $$x=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ x_3\end{array}\right]{\Theta }^{(1)}=\left[\begin{array}{cccc}{\Theta }_{10}^{(1)}& {\Theta }_{11}^{(1)}& {\Theta }_{12}^{(1)}& {\Theta }_{13}^{(1)}\\ .& .& .& {\Theta }_{23}^{(1)}\\ .& .& .& {\Theta }_{33}^{(1)}\end{array}\right]a^{(2)}=\left[\begin{array}{c}{a}_1^{(2)}\\ a_2^{(2)}\\ a_3^{(2)}\end{array}\right]$$

8.4 模型表示2

参考视频 : 8 - 4 - Model Representation II (12 min).mkv

我们设置变量$z$为：对于第2层，$z_k^{(2)}={\Theta }_{k,0}^{(1)}{x}_0+{\Theta }_{k,1}^{(1)}{x}_1+\cdots +{\Theta }_{k,n}^{(1)}{x}_n$

所以对于第2层的每一个单元，$$\begin{gathered} z_1^{(2)}={\Theta }_{10}^{(1)}{x}_0+{\Theta }_{11}^{(1)}{x}_1+{\Theta }_{12}^{(1)}{x}_2+{\Theta }_{13}^{(1)}{x}_3 \\ {z}_2^{(2)}={\Theta }_{20}^{(1)}{x}_0+{\Theta }_{21}^{(1)}{x}_1+{\Theta }_{22}^{(1)}{x}_2+{\Theta }_{23}^{(1)}{x}_3 \\ {z}_3^{(2)}={\Theta }_{30}^{(1)}{x}_0+{\Theta }_{31}^{(1)}{x}_1+{\Theta }_{32}^{(1)}{x}_2+{\Theta }_{33}^{(1)}{x}_3 \end{gathered}$$

则第二层的输出为$$\begin{gathered} a_1^{(2)}=g(z_1^{(2)}) \\ {a}_2^{(2)}=g(z_2^{(2)}) \\ {a}_3^{(2)}=g(z_3^{(2)}) \end{gathered}$$

前文$x$和$z^{(j)}$的标识如下：$$x=\left[\begin{array}{c}{x}_0\\ x_1\\ \cdots \\ x_n\end{array}\right]z^{(j)}=\left[\begin{array}{c}{z}_1^{(j)}\\ z_2^{(j)}\\ \cdots \\ z_n^{(j)}\end{array}\right]$$

为了进一步统一符号标识，我们设置：$x=a^{(1)}$。所以：

• $z^{(j)}={\Theta }^{(j-1)}{a}^{(j-1)}$
• $a^{(j)}=g(z^{(j)})$

所以输出层为$h_{\Theta }(x)=a^{(j+1)}=g(z^{(j+1)})$，对于三层神经网络：$h_{\Theta }(x)=a^{(3)}=g(z^{(3)})$。这和逻辑回归中的模型是统一的。有没有一点小兴奋，哈哈哈。

其实神经网络就是逻辑回归，只不过我们把逻辑回归中的输入向量[x0,x1…x3]变成了神经网络中间层的[a1…a3]。我们可以把[a1…a3]看作更高级的特征，也就是[x0,x1…x3]的进化体。它比原来的特征厉害，能更好地预测新数据。这就是神经网络相比于逻辑回归和线性回归的优势。

P.S. 正向传播算法

正向传播算法比较容易理解，三层神经网络的算法如下：

用Matlab代码向量化实现三层神经网络的正向传播算法：

m = size(X, 1); % X为输入数据集
X = [ones(m, 1), X]; 
a1 = X;
z2 = a1 * Theta1';
a2 = sigmoid(z2);
a2 = [ones(m, 1), a2];
z3 = a2 * Theta2';
a3 = sigmoid(z3);

---

推荐资料：

1. 神经网络浅讲：从神经元到深度学习