Coursera《machine learning》--（8）神经网络表述

本笔记为Coursera在线课程《Machine Learning》中的神经网络章节的笔记。

八、神经网络：表述(Neural Networks: Representation)

本节主要讨论一种叫做神经网络的机器学习算法。首先讨论神经网络的表层结构，在后续的课程中再讨论具体的学习算法。神经网络其实是一个比较古老的算法，它沉寂过一点时间，但现在又成为了许多机器学习的首选技术。

8.1 非线性假设

参考视频: 8 - 1 - Non-linear Hypotheses (10 min).mkv

前面已经讲述了线性回归和逻辑回归算法，为什么还要研究神经网络呢？下面，通过几个机器学习的例子来阐述研究神经网络的目的，这几个例子的解决都依赖于复杂的非线性分类器。

考虑下图所示的监督学习的例子（房价分类问题，而不是不是以前的房价预测问题，给定房子的一些特征，预测在未来半年内该房子是否可以卖得出去，这是一个分类问题），在图中，给出了训练样本集（其中，+为这个样本，-为负样本）。如果利用逻辑回归来解决这个问题，首先需要构造一个包含很多个非线性项的假设逻辑回归函数（包含很多的二次项、甚至三次项等）；当非线性项足够多时，可以得到能够将正样本和负样本区分开的分类边界（如下图的分类界面所示）。当只有两个特征时（x₁和x₂），这种分类方法的效果其实还是不错的，因为可以将x₁和x₂的所有组合都包含在多项式中。

但对于许多复杂的机器学习问题，涉及到的特征往往多于两项，例如，某个房子可能有100个特征（即n=100），此时，如果仍旧利用逻辑回归方法，即使在逻辑回归函数中仅考虑所有的二次项，那么最后的回归函数也会有5000个二次项：

    

并且，随着特征特殊个数n的增加，二次项的个数大约以n²的量级增长（计算复杂度是o(n²)，二次项的个数大约是n²/2个），所以说，要在逻辑回归函数中包含所有的二次项是非常困难的，更不要说再包含三次项、四次项等（如果考虑三次项，计算复杂度将会变为o(n³)），回归函数大概包括17000个三次项）。并且，由于多项式项个数的增加，最后结果可能会产生过拟合的问题，同时，处理这么多的项，也会存在运算量过大的问题。同时，如果真的只考虑二次项，也会抛弃大量的其他特征，使得最后得到的决策边界并不好。实际中，许多机器学习问题的特征个数n是很大的，以下给出一些例子。

下图给出了一个计算机视觉中的问题：利用机器学习来训练一个分类器，它可以判定一副输入图像是否为一辆汽车。取出图像中的一个小矩形部分，将其放大，可以看到，人类眼中的汽车，计算机看到的却是一个数值矩阵（每个数值代表相应位置的灰度值），所以，这个识别问题对计算机而言，就变为了根据像素点亮度矩阵判断这个数值矩阵到底代表的是什么。

具体而言，用机器学习算法构造汽车识别器的基本过程是：将给定的一个带有标签的样本集（其中，一类是汽车样本，另一类是非汽车样本）输入到学习算法中，从而得到一个分类器；对于给定的一个新的测试样本，该分类器就可以判断出"这是什么东西"。理想情况下，分类器可以识别出一个汽车。

为了描述引入非线性分类器的必要性，从训练样本集中挑出一些汽车图片和非汽车图片，从每组图像中挑出一组像素点（pixel1和pixel2两个像素点），在坐标系中标出该汽车的位置（即为坐标系中的一个点，x坐标为pixel1亮度值、y坐标为pixel2亮度值），利用同样的方法，标出其它图片中的汽车的位置及非汽车物体的位置，绘制结果如下图所示。对于这种简答的情况，似乎结果还是可以线性分割的。

下面，继续绘制更多的样本点，绘制结果如下图所示。可以看到，汽车样本和非汽车样本分布在坐标系中的不同区域（一个非线性分类问题），所以，我们需要一个非线性分类器将这两类样本尽量区分开来（下图绘制出了一个非线性的决策边界）。

这个分类问题的样本特征个数大概有多少呢？假使我们采用的样本像素大小都是50×50，并且将所有的像素点的灰度值视为特征，则会有 2500个特征，如果再进一步将两两特征组合构成一个多项式模型，则会有约2500²/2 个（接近300万个）特征。因此，只是简单地增加二次型、三次项等的逻辑回归算法，并不是一个解决复杂