Stanford机器学习---第四周.神经网络模型

第四周 神经网络模型Neural Networks Model

关键词：

       复杂的非线性分类器、大脑的学习算法、神经网络模型、手写识别

写在前面的话：

       初学者刚开始接触神经网络可能会比较难理解，笔者也是一口气学完第五周的课程才有底气回头写这一周的梳理总结。从数值计算的角度，如果说之前的线性回归、逻辑回归都是二维矩阵之间的运算的话，那么神经网络又多了一维；实际上，逻辑回归就是没有隐藏层(Hidden Layer)的神经网络，即只有输入层和输出层，还是直接看模型来的痛快。

神经网络模型：

该图是最简单的神经网络，共有3层，输入层Layer1；隐藏层Layer2；输出层Layer3，每层都有多个激励函数ai(j).通过层与层之间的传递参数Θ得到最终的假设函数hΘ(x)。我们的目的是通过大量的输入样本x（作为第一层），训练层与层之间的传递参数(经常称为权重)，使得假设函数尽可能的与实际输出值接近h(x)≈y(代价函数J尽可能的小)

逻辑回归模型：

很容易看出，逻辑回归是没有隐藏层的神经网络，层与层之间的传递函数就是θ。

接下来言归正传，让我们进一步讲一讲神经网络Neural network 

==========================不怎么华丽的分割线========================

(一)神经网络----大脑的学习算法

      神经网络就是模拟神经元与神经元构成的网络中电信号的传播方式，对于单个神经元来说，轴突可以伸向多个细胞体传递信息，又可以同时接收其他多个神经元传来的信息，因此一个神经元可以想象成一个单元unit.

     Andrew Ng根据大脑皮层的工作机智，设想到是否存在一种学习算法，可以模拟大脑皮层同时处理视、听、触觉的统一的功能，总之，神经网络是大脑的学习算法。

(二)神经网络---复杂的非线性分类器

逻辑回归通常是得到线性的假设函数，对于复杂的、计算量庞大的、非线性假设函数的求解，往往借助神经网络实现，可以说神经网络是更高级的学习算法。

★★★(三)神经网络模型---正向传播

前向传播的理解对于后续反向传播神经网络算法Back propagation algorithm的理解至关重要，如图一个隐藏层有三个单元的神经网络，a1(2)表示第2层第一个单元的激励函数,a2(2)表示第二层第二个单元的激励函数，a3(2)表示第二层第三个单元的激励函数，它们的求解是一个sigmoid函数(上一周的内容有介绍)，也就是将样本输入x作为第一层的激励函数a(1)，用第一层到第二层的传递参数Θ(1)传递有：a(2)=g(Θ(1)a(1))，再利用同样的方法有hΘ(x)=g(Θ(2)a(2))，假设函数得到。

前向传播的意思很明朗：输入层--->隐藏层--->输出层。

注意，所有的前提是已经知道层与层之间的传递函数Θ(1)和Θ(2)，至于如何得到我们就在下一章讲解。

(四)神经网络与逻辑运算

举几个例子

Example1 逻辑与AND

下图中左半部分是神经网络传递参数(权重)的设计和输出表达式，右上是sigmoid函数，右下是逻辑运算的真值表。

Example2 逻辑或OR

下图中左半部分是神经网络传递参数(权重)的设计和输出表达式，右半部分是逻辑运算的真值表。

把相关的网络关联起来，有如下这个例子：

Example3 逻辑亦或XOR

将三种逻辑运算结合起来，构成的三层的网络能够实现更为复杂的亦或XOR运算，可见神经网络的功能远比普通的逻辑回归要强大的多得多。

(五)多类别分类问题、手写识别

对于多类别分类的问题，也就是输出值y = 1，2，3，4，5.....10又有可能，为了方便数值运算，我们用10×1的列向量表示，譬如 y = 5，有

所以，多类别分类问题只需要把最后一层输出层用多个单元表示即可，譬如手写识别，输入的是手写的照片（数字0-9），如果有4000组样本、每个像素点用20×20的点阵表示成一行，输入向量为4000×400的矩阵X，经过神经网络传递后，输出一个假设函数(列向量),取最大值所在的行号即为假设值(0-9中的一个)。

对于神经网络如何训练传递参数Θ，我们将在下一周讲解，笔者才疏学浅，欢迎大家批评指正~