1_深度学习_相关概念

目标函数

我们将“机器学习”定义为“从经验中学习”。这里所说的“学习”，是指自主提高模型完成某些任务的效能。
但是什么才算真正的提高呢？
在机器学习中，我们需要给出定义模型优劣程度的度量，这个度量在大多数情况是“可优化”的，我们称之为目标函数（objective function）。我们通常定义一个目标函数，并希望优化它到最低点。因为越低越好，所以这些函数有时被称为损失函数（loss function，或cost function）。

过拟合： 当一个模型在训练集上表现良好，但不能推广到测试集时，我们说这个模型是“过拟合”。就想在现实生活中，尽管模拟考试考得很好，真正的考试不一定百发百中。

优化算法

接下来需要一种算法，它能搜索出最佳参数，以最小化损失函数。在深度学习中，大多流行的优化算法通常基于一种基本方法——梯度下降（gradient descent）。简而言之，梯度下降法都会检查每个参数，看看如果你仅对该参数进行少量变动，训练集损失会朝哪个方向移动。然后，它在可以减少损失的方向上优化参数。

监督学习

监督学习擅长在“给定输入特征”的情况下预测标签。每个“特征-标签”对都称为一个样本。
我们的目标是生成一个模型，能够将任何输入特征映射到标签，即预测。

回归

回归是最简单的监督学习任务之一。
当标签取任意数值时，我们称之为回归问题。

分类

当标签取“哪一个”时，我们称之为分类问题。

无监督学习

我们称一类数据中不含有“目标”的机器学习问题为无监督学习。
无监督学习的作用：

• 聚类：在没有标签的情况下，能否对数据分类呢？例如，给定一组照片，我们能把它们分成风景照片、狗、婴儿、猫和山峰的照片吗？
• 主成分分析：我们能否找到少量的参数来准确地捕捉数据的线性相关属性？例如，一个球的运动轨迹可以用球得速度、直径和质量来描述。
• 因果关系和概率图模型：我们能否描述观察到的许多数据的根本原因？例如，如果我们有关于房价、污染、犯罪、地理位置、教育和工资的人口统计数据，我们能否简单地根据经验数据发现它们之间的关系？
• 生成对抗性网络：为我们提供一种合成数据的方法，甚至像图像和音频这样复杂的结构化数据。潜在的统计机制是检查真实和虚假数据是否相同的测试，它是无监督学习的另一个重要而令人兴奋的领域。

强化学习

如果我们对使用机器学习开发与环境交互并采取行动感兴趣，那么最终可能会专注于强化学习。
突破性的深度Q网络（Q-network）在雅达利游戏中仅使用视觉输入就击败了人类，以及AlphaGo程序在棋盘游戏围棋中击败了世界冠军，是两个突出强化学习的例子。
在强化学习问题中，agent在一系列的时间步骤上与环境交互。在每个特定的时间点，agent从环境接收一些观察（observation），并且必须选择一个动作（action），然后通过某种机制（有时称为执行器）将其传输回环境，最后agent从环境中获得奖励（reward）。此后，新一轮循环开始，agent接收后续观察，并选择后续操作，以此类推。
当环境可被完全观察到时，我们将强化学习问题称为马尔可夫决策过程。当状态不依赖于之前的操作时，我们称该问题为上下文赌博机。当没有状态，只有一组最初未知回报的可用动作时，这个问题就是经典的多臂赌博机。