【吴恩达机器学习笔记】第八章 神经网络：表述

搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’ 获取更多人工智能、机器学习干货

csdn：https://blog.csdn.net/qq_36645271

github：https://github.com/aimi-cn/AILearners

---

第八章 神经网络：表述

8.1 非线性假设

8.1.1 机器学习中的例子

假设有一个监督学习分类问题，如果使用逻辑回归来解决这个问题，我们可以构造一个包含很多非线性项的逻辑回归函数。

当我们要解决的问题只有$x_1,x_2$两个特征时，这种方法得到的效果确实不错，因为我们可以把$x_1$和$x_2$的所有组合都包含到多项式中。但在许多机器学习问题中，我们所拥有的特征往往不止两项。例如房价预测的问题中，假如我们有100个特征，若使用逻辑回归，其中二次醒的个数大约是$\frac{n^2}{2}$个。项数过多，最后的结果可能导致过拟合。

8.1.2 计算机视觉中的例子

假设我们要用机器学习算法来训练一个分类器来检测图像，判断其是否为一辆汽车。对于人来说，我们开到的是一辆汽车，但是对于计算机来说，我们选取其中一小部分，它看到的却是一个数据矩阵或者说表示像素强度值的网格。

具体而言，当我们用机器学习算法构造一个汽车识别器时，我们要提供一个带标签的样本集，其中一部分是各种各样的汽车，另一部分不是汽车。将这个样本集输入给学习算法，从而训练出一个分类器。

8.1.3 非线性假设

为了理解引入非线性假设的必要性，我们从学习算法的训练样本中找出了一些汽车图片与不是汽车的图片。我们从这些图片中选择一组像素位点，并在坐标系中标出这幅汽车图片的位置。之后，我们分别用“+”代表汽车图片，“-”代表非汽车图片，将数据根据两个像素点的像素强度全部标注在坐标系中，我们会发现它们分布在坐标系中的不同区域，因此我们需要一个非线性假设来对这两种样本进行分类。

这里，假设我们只使用$50\times 50$像素的图片，我们依然会的到2500个像素点。因此特征向量的元素数量为2500，特征向量$x$就是包含了所有像素强度（灰度图片为0-255）的列表,$n=2500$。如果使用RGB(red,green,blue)彩色图片，那么$n=7500$。因此，如果我们要通过包含所有的二次项特征来学习的到非线性假设，那么我们就需要300万个特征，成本太高。

只是包括平项或者立方项特征，简单的逻辑回归算法并不是一个在$n$很大时学习复杂的非线性假设的好办法，因为特征过多。神经网络(neural networks)在学习非线性假设上呗证明是一种很好得算法，即使输入特征空间或$n$很大也能轻松搞定。

8.2 神经元与大脑

8.2.1 神经网络的历史与背景

神经网络是一种很古老的算法，它最初产生的目的是制造能模拟大脑的机器。神经网络逐渐兴起于二十世纪八九十年代，应用得非常广泛。但由于各种原因，在90年代的后期应用减少了。最近，神经网络又东山再起了。其中一个原因是：神经网络算法需要更强的算力。大概是由于近些年计算机的运行速度变快，才足以真正运行起大规模的神经网络。正是由于这个原因，如今的神经网络对于许多应用来说是最先进的技术。

人类要想通过机器去模仿大脑的工作原理，我们得写很多不同的软件来模拟所有复杂事情。但其实，大脑处理的方法，只需"一个"单一的学习算法就可以了。

大脑的这一部分的这一小片红色区域是我们的听觉皮层，它靠耳朵接收信息。耳朵接收到声音信号，并把声音信号传递给你的听觉皮层，正因如此，我们才能听懂别人说的话。

神经系统科学家做了下面这个有趣的实验，把耳朵到听觉皮层的神经切断。在这种情况下，将其重新接到一个动物的大脑上，这样从眼睛得到的视神经的信号最终将传到听觉皮层。如果这样做了。那么结果表明听觉皮层将会学会“看”。这里的“看”代表生物学上的意义。所以，如果你对动物这样做，那么动物就可以完成视觉辨别任务，它们可以看图像，并根据图像做出适当的决定。它们正是通过脑组织中的这个部分完成的。

下面再举另一个例子，这块红色的脑组织是你的躯体感觉皮层，这是你用来处理触觉的，如果你做一个和刚才类似的重接实验，那么躯体感觉皮层也能学会“看”。

这个实验和其它一些类似的实验，被称为神经重接实验，从这个意义上说，如果人体有同一块脑组织可以处理光、声或触觉信号，那么也许存在一种学习算法，可以同时处理视觉、听觉和触觉，而不是需要运行上千个不同的程序，或者上千个不同的算法来做这些大脑所完成的成千上万的事情。也许我们需要做的就是找出一些近似的或实际的大脑学习算法，然后实现它，让大脑自己学习如何处理这些不同类型的数据。人类的大脑是如此的神奇以至于我们可以把几乎任何一种传感器接入到大脑的几乎任何一个部位，之后，大脑就会学习如何去处理它。

8.2.2 一些例子

下面再举几个例子：

这张图是用舌头学会“看”的一个例子。它的原理是：这实际上是一个名为BrainPort的系统，它现在正在FDA (美国食品和药物管理局)的临床试验阶段，它能帮助失明人士看见事物。它的原理是，你在前额上带一个灰度摄像头，面朝前，它就能获取你面前事物的低分辨率的灰度图像。我们将一根线连接在舌头上安装的电极阵列上，那么每个像素都被映射到你舌头的某个位置上，可能电压值高的点对应一个暗像素，电压值低的点对应于亮像素。使用这种系统就能让你我在几十分钟里就学会用我们的舌头“看”东西。

这是第二个例子，关于人体回声定位或者说人体声纳。我们有两种方法可以实现：你可以弹响指，或者咂舌头。不过现在有失明人士，确实在学校里接受这样的培训，并学会解读从环境反弹回来的声波模式—这就是声纳。如果你搜索YouTube之后，就会发现有些视频讲述了一个令人称奇的孩子，他因为癌症眼球惨遭移除，虽然失去了眼球，但是通过打响指，他可以四处走动而不撞到任何东西，他能滑滑板，他可以将篮球投入篮框中。

第三个例子是触觉皮带，如果你把它戴在腰上，打开蜂鸣器，朝向北的那个就会发出嗡嗡声。它可以使人拥有方向感，用类似于鸟类感知方向的方式。

还有一些离奇的例子：

如果你在青蛙身上插入第三只眼，青蛙也能学会使用那只眼睛。

因此，这非常令人惊奇，你能把几乎任何传感器接入到大脑中，大脑的学习算法就能找出学习数据的方法，并处理这些数据。从某种意义上来说，如果我们能找出大脑的学习算法，然后在计算机上执行大脑学习算法或与之相似的算法，也许这将是我们向人工智能迈进做出的最好的尝试。

8.3 模型表示1

8.3.1 神经元在大脑中的样子

在大脑的中的神经元里，我们需要注意三点：

• 神经元有像这样的细胞体。
• 神经元有很多输入通道，叫做树突(dendrite)，可以把他们想象成输入电线，他们来接收其他神经元的信息。
• 三神经元有一条输出通道，叫轴突(axon)，用来给其他神经元传递信号。

总而言之，神经元是一个计算单元，他从输入通道接收一定数目的信息，并做一些计算，然后将结果通过它的轴突传送到其他节点。

8.3.2 单个神经元在神经网络中的样子

在一个神经网络中，我们将使用一个很简单的模型，来模拟神经元的工作。我们将神经元模拟成一个逻辑单元。

上图中的黄色圆圈代表类似于神经元细胞体的东西。我们通过输入通道传递给它一些信息，然后神经元做一些计算，并通过输出通道输出计算结果。

通常我们神将网络的输入节点只有$x_1,x_2,x_3$，但有必要的时候会加入一个额外的节点$x_0$，它有时候也被称作偏置单元(bias unit)或偏置神经元(bias neuron)。$x_0$总是等于1。

最后，我们还要讨论一下神经网络中一些术语的问题。我们可以说上图是一个带有sigmoid或logistic激活函数(activation function)的人工神经单元。所以在神经网中，激活函数是指非线性函数$g(z)=\frac{1}{1+e^{-{\theta }^{T}x}}$的另一个术语。同时，在一些神经网络的相关文献中，我们也会把参数$\Theta$称为模型的权重(weights)。

8.3.3 多个神经元在神经网络中的样子

上一节我们介绍了单个神经单元，但神经网络其实是一组神经元连接在一起的集合。

其中 x 1 , x 2 ,