2017Deep Learning学习笔记01

AI > Machine Learning > Deep Learning “深度学习是一种机器学习，机器学习是一种人工智能”
Deep Learning里的限制是继承与ML的。

在人工智能领域，我们有专家系统，这是一种基于专家知识和诀窍的问题解决模型。这个模型和专家们自己一样有效。

然而，在某些领域，法律和逻辑推理对建模不是很有用。

机器学习被用来解决分析模型几乎不可用的问题。机器学习的基本思想是在方程和定律不适用的情况下，利用训练数据建立模型。

图形的垂直流表示学习过程，经过训练的模型被描述为水平流，称为推理。

机器学习中用于建模的数据和现场应用程序中提供的数据是不同的。训练数据和输入数据的差异性是机器学习面临的结构性挑战。同样的思想也适用于深度学习。因此，机器学习方法获得充分反映现场数据特征的无偏训练数据至关重要。无论训练数据或输入数据如何，使模型性能保持一致的过程称为泛化。机器学习的成功在很大程度上取决于泛化的完成程度。

泛化过程损坏的主要原因之一是过度拟合。让我们再看一看数据点。一些异常值穿透另一组的区域并干扰边界。换句话说，这些数据包含很多噪声。由于机器学习考虑了所有数据，甚至噪声，它最终会生成一个不正确的模型。训练数据并不完美，可能包含不同数量的噪声。如果您相信训练数据的每个元素都是正确的，并且精确地符合模型，那么您将得到一个通用性较低的模型。这称为过度拟合。

两种典型的方法来对抗过拟合：正则化和验证。
正则化是一种试图构造尽可能简单的模型结构的数值方法。简化模型可以避免过度拟合的影响，缺点：但性能成本很低。因为训练数据很简单，并且模型很容易可视化。然而，大多数情况下并非如此，因为数据具有更高的维度。我们无法绘制模型并直观地评估过拟合对此类数据的影响。
验证是一个保留部分培训数据并使用它来监控性能的过程。验证集不用于培训过程。由于训练数据的建模误差不能表明过度拟合，因此我们使用一些训练数据来检查模型是否过度拟合。当经过训练的模型对保留的数据输入产生较低的性能水平时，我们可以说模型拟合过度。在这种情况下，我们将修改模型以防止过度拟合。交叉验证是验证过程的细微变化。它仍然将训练数据分成组进行训练和验证，但不断更改数据集。交叉验证不是保留最初划分的集合，而是重复数据的划分。这样做的原因是，即使在验证集固定时，模型也可能过度拟合。由于交叉验证保持了验证数据集的随机性，因此可以更好地检测模型的过度拟合。

根据训练方法的不同

监督学习与人类学习事物的过程非常相似。

当我们将此示例与机器学习过程进行类比时，练习问题和解决方案对应于训练数据，知识对应于模型。重要的是，我们需要解决方案。这是监督学习的重要方面。它的名字甚至暗示着教师给学生提供答案以便记忆的辅导。在有监督学习中，每个训练数据集应该由输入和正确的输出对组成。正确的输出是模型应该为给定的输入生成的输出：{ input, correct output }
监督学习中的学习是对模型的一系列修改，以减少正确输出与相同输入的模型输出之间的差异。如果模型经过完美训练，它将产生与训练数据输入相对应的正确输出。

相比之下，无监督学习的训练数据只包含输入，没有正确的输出：{ input }。无监督学习通常用于研究数据的特征和对数据进行预处理。

强化学习使用一组输入、一些输出和等级作为训练数据。它通常在需要最佳交互时使用，例如控制和游戏。{ input, some output, grade for this output }

监督学习的两种最常见的应用类型是分类和回归。
①分类问题的重点是从字面上找到数据所属的类。类似地，分类问题的训练数据如下：{input，class}在分类问题中，我们想知道输入属于哪个类。因此，数据对所属类来代替与输入对应的正确输出。

②相反，回归并不确定类别。它**估计一个值**。例如，如果你有年龄和收入的数据集（用•）并希望找到按年龄估算收入的模型，这将成为一个回归问题（见图1-15）。

1-16表明把年龄和收入进行回归。