机器学习（十）- Neural Network representation

Non-linear hypotheses

我们继续讨论分类的话题，对于之前的较为简单的逻辑回归来说，我们一直在讨论2个参数的情况，是因为它直观，我们可以在二维平面上直接展示出来，利于我们学习，就例如下图左上角的一个非线性分类，我们想要去拟合一条二维曲线。

但是当参数增多，如上图假设我们有100个参数，如果进行参数组合成特征，光2次项就会有大约5000左右的feature，3次项会有大约170000的feature，可想而知4次项，5此项，又或者参数数量更大，那feature数量将难以想象，这个时候逻辑回归仿佛就会变得力不从心，难以完成我们的分类任务。再举一个实际的例子。

如上图，我们在进行目标检测，检测一张图片是否是car，假设我们的图片仅仅只有$50\times 50$像素大小（这已经很小了）而且还是灰度图，那么显然我们有2500个参数，如果我们要运用逻辑回归，我们选择使用二次项特征，那么我们就将大约3million个feature，那么显然对于复杂的分类任务，逻辑回归就不适用了。那么接下来就要开始介绍Neural Network（神经网络）。

Neural Network representation

这里就不讲述它为什么好了和它的由来了，直接讲解神经网络模型的表示方式。（公式我就不打了，全在图里，哈哈哈！）

神经网络中每个神经元其实是一个逻辑运算单元，一般用到的函数就是逻辑回归中用到的sigmoid函数，在这里我们称之为神经元的激活函数，当然激活函数不止sigmoid一种。
每个神经元将上一层的神经元的线性组合${\theta }^{T}x$作为输入，然后经过激活函数给出一个输出$h_{\theta }(x)$。
在这里简单带一句关于层的说法，一个多层的神经网络，除了第一层叫做输入层，最后一层叫做输出层，中间的所有层都叫做隐藏层。所有的参数说明和向量化的过程都在下面两张图里了，个人觉得比起我把公式一一打出来，其实Andrew Ng教授的PPT更加直观。

$$\begin{array}{rl}x& =a^{(1)}\\ z^{(j)}& ={\theta }^{(j-1)}{a}^{(j-1)}\\ a^{(j)}& =g(z^{(j)})\\ h_{\theta }(x)& =a^{(L)}=g(z^{(L)})\end{array}$$

---