什么是深度学习

“机器学习将导致五年内每一次成功的IPO胜利。”

Eric Schmidt，谷歌执行主席，2016年云计算平台大会主题演讲

什么是深度学习？

深度学习是机器学习方法的一个子集

深度学习是机器学习的一个子集，机器学习是一个致力于研究和开发可以学习的机器的领域（有时目标是最终实现通用人工智能）。

在工业中，深度学习用于解决计算机视觉（图像）、自然语言处理（文本）和自动语音识别（音频）等各个领域的实际任务。简而言之，深度学习是机器学习工具箱中方法的一个子集，主要使用人工神经网络，人工神经网络是一类受人脑启发的算法。

请注意，在这张图中，并非所有的深度学习都专注于追求广义的人工智能（电影中的有知觉的机器）。该技术的许多应用都用于解决工业中的各种问题。本书旨在重点教授前沿研究和行业背后的深度学习基础知识，帮助您为其中任何一个做好准备。

什么是机器学习？

“一个研究领域，使计算机能够在没有明确编程的情况下学习。

归因于亚瑟·塞缪尔（Arthur Samuel）

鉴于深度学习是机器学习的一个子集，什么是机器学习？一般来说，顾名思义，这就是它的含义。机器学习是计算机科学的一个子领域，其中机器学习执行它们没有明确编程的任务。简而言之，机器观察一种模式，并试图以某种直接或间接的方式模仿它。

我提到直接模仿和间接模仿与机器学习的两种主要类型平行：监督式和无监督式。监督式机器学习是直接模仿两个数据集之间的模式。它始终尝试获取输入数据集并将其转换为输出数据集。这可能是一项非常强大和有用的功能。请考虑以下示例（输入数据集以粗体显示，输出数据集以斜体显示）：

• 使用图像的像素来检测猫的存在与否
• 使用您喜欢的电影来预测您可能喜欢的更多电影
• 用某人的话来预测他们是快乐还是悲伤
• 使用天气传感器数据预测降雨概率
• 使用汽车发动机传感器预测最佳调校设置
• 利用新闻数据预测明天的股价
• 使用输入数字预测数字的大小是其大小的两倍
• 使用原始音频文件预测音频的脚本

这些都是受监督的机器学习任务。在所有情况下，机器学习算法都试图模仿两个数据集之间的模式，以便它可以使用一个数据集来预测另一个数据集。对于这些示例中的任何一个，想象一下，如果您有能力仅根据输入数据集来预测输出数据集。这样的能力将是深刻的。

监督式机器学习

监督式学习转换数据集

监督学习是一种将一个数据集转换为另一个数据集的方法。例如，如果您有一个名为“星期一股票价格”的数据集，该数据集记录了过去 10 年中每个星期一每只股票的价格，而另一个数据集名为“星期二股票价格”，则在同一时间段内记录了另一个数据集，则监督学习算法可能会尝试使用一个数据集来预测另一个数据集。

如果你在10年的星期一和星期二成功地训练了监督机器学习算法，那么你可以根据前一个星期一的股价来预测未来任何一个星期二的股价。我鼓励你停下来考虑一下。

监督式机器学习是应用人工智能（也称为狭义人工智能）的基础。它对于将您所知道的内容作为输入并快速将其转换为您想知道的内容很有用。这使得监督式机器学习算法能够以看似无穷无尽的方式扩展人类的智能和能力。

使用机器学习的大多数工作都会导致训练某种监督分类器。即使是无监督的机器学习（您稍后会了解更多）通常也有助于开发准确的监督机器学习算法。

在本书的其余部分，您将创建算法，这些算法可以获取可观察、可记录的输入数据，进而可知，并将其转换为需要逻辑分析的有价值的输出数据。这就是监督式机器学习的力量。

无监督机器学习

无监督学习对数据进行分组

无监督学习与监督学习有一个共同的特性：它将一个数据集转换为另一个数据集。但是它转换成的数据集以前是未知或理解的。与监督学习不同，您没有试图让模型复制的“正确答案”。你只需告诉一个无监督的算法来“在这些数据中找到模式并告诉我它们”。

例如，将数据集分组是一种无监督学习。聚类分析将一系列数据点转换为一系列聚类标签。如果它学习了 10 个聚类，则这些标签通常是数字 1-10。每个数据点将根据其所在的集群分配给一个数字。因此，数据集从一堆数据点变成了一堆标签。为什么标签是数字？该算法不会告诉您集群是什么。它怎么会知道？它只是说，“嘿，科学家！我找到了一些结构。您的数据中似乎存在组。他们来了！

我有个好消息！这种聚类的想法是你可以可靠地在脑海中保留的东西，作为无监督学习的定义。尽管无监督学习有多种形式，但所有形式的无监督学习都可以被视为聚类的一种形式。您将在本书后面找到更多相关内容。

看看这个例子。尽管该算法没有告诉集群的名称是什么，但您能弄清楚它是如何聚类这些单词的吗？（答案：1 == 可爱，2 == 美味。稍后，我们将解开其他形式的无监督学习如何也只是聚类的一种形式，以及为什么这些聚类对监督学习有用。

参数化学习与非参数化学习

过于简化：试错学习与计数和概率

最后两页将所有机器学习算法分为两组：监督算法和无监督算法。现在，我们将讨论另一种将相同的机器学习算法分为两组的方法：参数和非参数。因此，如果我们考虑我们的小机器学习云，它有两个设置：

如您所见，实际上有四种不同类型的算法可供选择。算法可以是无监督的，也可以是有监督的，可以是参数化的，也可以是非参数化的。上一节关于监督是关于正在学习的模式类型，而参数化是关于学习的存储方式，并且通常延伸到学习方法。首先，让我们看一下参数化与非参数化的形式定义。郑重声明，围绕确切的区别仍然存在一些争论。

无限

举个例子，假设问题是将方形钉子安装到正确的（方形）孔中。有些人（例如婴儿）只是将其塞入所有孔中，直到它适合某个地方（参数化）。然而，青少年可能会计算边数（四条），然后寻找具有相等数量（非参数）的孔。参数模型倾向于使用试错法，而非参数模型倾向于计数。让我们仔细看看。

监督参数学习

过于简单：使用旋钮进行试错学习

监督参数学习机是具有固定数量的旋钮（即参数部分）的机器，其中通过转动旋钮进行学习。输入数据进入，根据旋钮的角度进行处理，并转换为预测。

学习是通过将旋钮转到不同角度来完成的。如果你试图预测红袜队赢得世界大赛的概率，那么这个模型将首先获取数据（如体育统计数据，如胜/负记录或每个球员的平均击球数）并进行预测（如98%的几率）。接下来，该模型将观察红袜队是否真的赢了。在知道他们是否获胜后，学习算法将更新旋钮，以便在下次看到相同或相似的输入数据时做出更准确的预测。

如果球队的胜/负记录是一个很好的预测指标，也许它会“打开”“胜/负记录”旋钮。相反，如果该数据点不是一个好的预测指标，它可能会“调低”“平均击球数”旋钮。这就是参数化模型的学习方式！

请注意，在任何给定时间，都可以在旋钮的位置捕获模型所学到的全部内容。您也可以将这种类型的学习模型视为搜索算法。您正在通过尝试配置、调整配置并重试来“搜索”适当的旋钮配置。

进一步注意，试错的概念不是正式的定义，但它是参数化模型的常见（有例外）属性。当有任意数量（但固定）的旋钮需要转动时，需要一定程度的搜索才能找到最佳配置。这与非参数学习形成鲜明对比，非参数学习通常是基于计数的，当它发现新的东西时（或多或少）会添加新的旋钮。让我们将监督参数学习分解为三个步骤。

第 1 步：预测

为了说明监督参数化学习，让我们继续用体育类比来预测Red Rox是否会赢得世界大赛。如前所述，第一步是收集体育统计数据，通过机器发送，并预测红袜队获胜的概率。

第 2 步：与真值模式进行比较

第二步是将预测（98%）与您关心的模式（红袜队是否获胜）进行比较。可悲的是，他们输了，所以比较是

• 捕食率：98% >真实度：0%

这一步认识到，如果模型预测为 0%，它将完美地预测团队即将发生的损失。您希望机器准确无误，这会导致第 3 步。

第 3 步：了解模式

此步骤通过研究模型遗漏的 （98%） 和预测时的输入数据（体育统计数据）来调整旋钮。然后，此步骤转动旋钮，根据输入数据做出更准确的预测。

从理论上讲，当这一步看到相同的体育统计数据时，预测将低于 98%。请注意，每个旋钮都表示预测对不同类型输入数据的敏感度。这就是你在“学习”时所改变的。

无监督参数化学习

无监督参数化学习使用非常相似的方法。让我们从较高层次逐步完成这些步骤。请记住，无监督学习就是对数据进行分组。无监督参数化学习使用旋钮对数据进行分组。但在这种情况下，它通常对每个组有多个旋钮，每个旋钮将输入数据的关联性映射到该特定组（有例外和细微差别——这是一个高级描述）。让我们看一个示例，假设您要将数据分为三组。

 

在数据集中，我在数据中确定了您可能希望参数化模型查找的三个聚类。它们通过格式表示为组 1、组 2 和组 3。让我们通过经过训练的无监督模型传播第一个数据点，如下所示。请注意，它最强烈地映射到组 1。

每个组的机器都尝试将输入数据转换为 0 到 1 之间的数字，告诉我们输入数据是该组成员的概率。这些模型的训练方式及其生成的属性有很多种，但在较高层次上，它们会调整参数以将输入数据转换为其订阅组。

非参数学习

过于简化：基于计数的方法

非参数学习是一类算法，其中参数的数量基于数据（而不是预定义）。这适用于通常以一种或另一种方式计数的方法，从而根据数据中计数的项目数增加参数数。例如，在监督设置中，非参数模型可能会计算特定颜色的路灯导致汽车“行驶”的次数。在只计算几个例子之后，这个模型将能够预测中间灯总是（100%）导致汽车行驶，而右边的灯只有偶尔（50%）导致汽车行驶。

请注意，此模型将有三个参数：三个计数，表示每个彩色灯打开和汽车行驶的次数（可能除以总观测值数）。如果有五盏灯，则将有五个计数（五个参数）。使这个简单模型非参数化的是这个特征，其中参数的数量根据数据（在本例中为灯的数量）而变化。这与参数化模型形成鲜明对比，参数化模型从设定数量的参数开始，更重要的是，可以有更多或更少的参数，完全由训练模型的科学家自行决定（无论数据如何）。

仔细观察可能会质疑这个想法。之前的参数化模型似乎每个输入数据点都有一个旋钮。大多数参数化模型仍然必须根据数据中的类数量进行某种输入。因此，您可以看到参数化和非参数化算法之间存在灰色区域。即使是参数化算法也会在一定程度上受到数据中类数量的影响，即使它们没有显式地计算模式。

这也说明参数是一个通用术语，仅指用于建模模式的一组数字（对这些数字的使用方式没有任何限制）。计数是参数。权重是参数。计数或权重的归一化变体是参数。相关系数可以是参数。该术语是指用于对模式进行建模的数字集。碰巧的是，深度学习是一类参数化模型。我们不会在本书中进一步讨论非参数模型，但它们是一类有趣且强大的算法。

总结

在本章中，我们更深入地了解了机器学习的各种风格。您了解到机器学习算法要么是有监督的，要么是无监督的，要么是参数化的，要么是非参数化的。此外，我们探索了这四组不同算法的不同之处。您了解到，监督式机器学习是一类算法，您可以在其中学习预测给定一个数据集的另一个数据集，并且无监督学习通常将单个数据集分组为各种聚类。您了解到参数化算法具有固定数量的参数，而非参数化算法会根据数据集调整其参数数。

深度学习使用神经网络来执行有监督和无监督预测。到目前为止，我们一直停留在概念层面上，因为您在整个领域中都有自己的方向以及您在其中的位置。在下一章中，您将构建第一个神经网络，所有后续章节都将基于项目。所以，拿出你的 Jupyternotebook，让我们开始吧！