目标函数
我们将“机器学习”定义为“从经验中学习”。这里所说的“学习”,是指自主提高模型完成某些任务的效能。
但是什么才算真正的提高呢?
在机器学习中,我们需要给出定义模型优劣程度的度量,这个度量在大多数情况是“可优化”的,我们称之为目标函数(objective function)。我们通常定义一个目标函数,并希望优化它到最低点。因为越低越好,所以这些函数有时被称为损失函数(loss function,或cost function)。
过拟合: 当一个模型在训练集上表现良好,但不能推广到测试集时,我们说这个模型是“过拟合”。就想在现实生活中,尽管模拟考试考得很好,真正的考试不一定百发百中。
优化算法
接下来需要一种算法,它能搜索出最佳参数,以最小化损失函数。在深度学习中,大多流行的优化算法通常基于一种基本方法——梯度下降(gradient descent)。简而言之,梯度下降法都会检查每个参数,看看如果你仅对该参数进行少量变动,训练集损失会朝哪个方向移动。然后,它在可以减少损失的方向上优化参数。
监督学习
监督学习擅长在“给定输入特征”的情况下预测标签。每个“特征-标签”对都称为一个样本。
我们的目标是生成一个模型,能够将任何输入特征映射到标签,即预测。
回归
回归是最简单的监督学习任务之一。
当标签取任意数值时,我们称之为回归问题。
分类
当标签取“哪一个”时,我们称之为分类问题。
无监督学习
我们称一类数据中不含有“目标”的机器学习问题为无监督学习。
无监督学习的作用:
- 聚类:在没有标签的情况下,能否对数据分类呢?例如,给定一组照片,我们能把它们分成风景照片、狗、婴儿、猫和山峰的照片吗?
- 主成分分析:我们能否找到少量的参数来准确地捕捉数据的线性相关属性?例如,一个球的运动轨迹可以用球得速度、直径和质量来描述。
- 因果关系和概率图模型:我们能否描述观察到的许多数据的根本原因?例如,如果我们有关于房价、污染、犯罪、地理位置、教育和工资的人口统计数据,我们能否简单地根据经验数据发现它们之间的关系?
- 生成对抗性网络:为我们提供一种合成数据的方法,甚至像图像和音频这样复杂的结构化数据。潜在的统计机制是检查真实和虚假数据是否相同的测试,它是无监督学习的另一个重要而令人兴奋的领域。
强化学习
如果我们对使用机器学习开发与环境交互并采取行动感兴趣,那么最终可能会专注于强化学习。
突破性的深度Q网络(Q-network)在雅达利游戏中仅使用视觉输入就击败了人类,以及AlphaGo程序在棋盘游戏围棋中击败了世界冠军,是两个突出强化学习的例子。
在强化学习问题中,agent在一系列的时间步骤上与环境交互。在每个特定的时间点,agent从环境接收一些观察(observation),并且必须选择一个动作(action),然后通过某种机制(有时称为执行器)将其传输回环境,最后agent从环境中获得奖励(reward)。此后,新一轮循环开始,agent接收后续观察,并选择后续操作,以此类推。
当环境可被完全观察到时,我们将强化学习问题称为马尔可夫决策过程。当状态不依赖于之前的操作时,我们称该问题为上下文赌博机。当没有状态,只有一组最初未知回报的可用动作时,这个问题就是经典的多臂赌博机。