神经网络：表述（一）

1 非线性假设

我们之前学的，无论是线性回归还是逻辑回归都有这样一个缺点，即当特征太多时，计

算的负荷会非常大

下面是一个例子：

当我们使用 x1,x2 的多次项式进行预测时，我们可以应用的很好。

之前我们已经看到过，使用非线性的多项式项，能够帮助我们建立更好的分类模型。假

设我们有非常多的特征，例如大于 100 个变量，我们希望用这 100 个特征来构建一个非线性

的多项式模型，结果将是数量非常惊人的特征组合，即便我们只采用两两特征的组合

（x1 x 2 +x 1 x 3 +x 1 x 4 +...+x 2 x 3 +x 2 x 4 +...+x 99 x 100 ）

, 我们也会有接近 5000 个组合而成的特征。这对于一 般的逻辑回归来说需要计算的特征太多了。

假设我们希望训练一个模型来识别视觉对象（例如识别一张图片上是否是一两汽车），

我们怎样才能这么做呢？一种方法是我们利用很多汽车的图片和很多非汽车的图片，然后利

用这些图片上一个个像素的值（饱和度或亮度）来作为特征。 假如我们只选用灰度图片，每个像素则只有一个值（而非 RGB 值），我们可以选取图 片上的两个不同位置上的两个像素，然后训练一个逻辑回归算法利用这两个像素的值来判断 图片上是否是汽车

假使我们采用的都是 50x50 像素的小图片，并且我们将所有的像素视为特征，则会有

2500 个特征，如果我们要进一步将两两特征组合构成一个多项式模型，则会有约 2500 2 /2 个

（接近 3 百万个）特征。普通的逻辑回归模型，不能有效地处理这么多的特征，这时候我们

需要神经网络

2 神经元和大脑

 

神经网络是一种很古老的算法，它最初产生的目的是制造能模拟大脑的机器。

在这门课中，我将向你们介绍神经网络。因为它能很好地解决不同的机器学习问题。而

不只因为它们在逻辑上行得通，在这段视频中，我想告诉你们一些神经网络的背景知识，由

此我们能知道可以用它们来做什么。不管是将其应用到现代的机器学习问题上，还是应用到

那些你可能会感兴趣的问题中。也许，这一伟大的人工智能梦想在未来能制造出真正的智能

机器。另外，我们还将讲解神经网络是怎么涉及这些问题的神经网络产生的原因是人们想尝

试设计出模仿大脑的算法，从某种意义上说如果我们想要建立学习系统，那为什么不去模仿

我们所认识的最神奇的学习机器——人类的大脑呢？

神经网络逐渐兴起于二十世纪八九十年代，应用得非常广泛。但由于各种原因，在 90

年代的后期应用减少了。但是最近，神经网络又东山再起了。其中一个原因是：神经网络是

计算量有些偏大的算法。然而大概由于近些年计算机的运行速度变快，才足以真正运行起大

规模的神经网络。正是由于这个原因和其他一些我们后面会讨论到的技术因素，如今的神经

网络对于许多应用来说是最先进的技术。当你想模拟大脑时，是指想制造出与人类大脑作用

效果相同的机器。大脑可以学会去以看而不是听的方式处理图像，学会处理我们的触觉

我们能学习数学，学着做微积分，而且大脑能处理各种不同的令人惊奇的事情。似乎如

果你想要模仿它，你得写很多不同的软件来模拟所有这些五花八门的奇妙的事情。不过能不

能假设大脑做所有这些，不同事情的方法，不需要用上千个不同的程序去实现。相反的，大

脑处理的方法，只需要一个单一的学习算法就可以了？尽管这只是一个假设，不过让我和你

分享，一些这方面的证据

大脑的这一部分这一小片红色区域是你的听觉皮层，你现在正在理解我的话，这靠的是

耳朵。耳朵接收到声音信号，并把声音信号传递给你的听觉皮层，正因如此，你才能明白我

的话。 神经系统科学家做了下面这个有趣的实验，把耳朵到听觉皮层的神经切断。在这种情况

下，将其重新接到一个动物的大脑上，这样从眼睛到视神经的信号最终将传到听觉皮层。如

果这样做了。那么结果表明听觉皮层将会学会“看”。这里的“看”代表了我们所知道的每

层含义。所以，如果你对动物这样做，那么动物就可以完成视觉辨别任务，它们可以看图像，

并根据图像做出适当的决定。它们正是通过脑组织中的这个部分完成的。下面再举另一个例

子，这块红色的脑组织是你的躯体感觉皮层，这是你用来处理触觉的，如果你做一个和刚才

类似的重接实验，那么躯体感觉皮层也能学会“看”。这个实验和其它一些类似的实验，被

称为神经重接实验，从这个意义上说，如果人体有同一块脑组织可以处理光、声或触觉信号，

那么也许存在一种学习算法，可以同时处理视觉、听觉和触觉，而不是需要运行上千个不同

的程序，或者上千个不同的算法来做这些大脑所完成的成千上万的美好事情。也许我们需要

做的就是找出一些近似的或实际的大脑学习算法，然后实现它大脑通过自学掌握如何处理这

些不同类型的数据。在很大的程度上，可以猜想如果我们把几乎任何一种传感器接入到大脑

的几乎任何一个部位的话，大脑就会学会处理它。

下面再举几个例子：