六天搞懂“深度学习”之一：机器学习

一般来说，人工智能、机器学习和深度学习是相互关联的：“深度学习是一种机器学习，而机器学习是一种人工智能。”

机器学习指的是人工智能的特定领域，即，机器学习表示人工智能的特定技术组成。机器学习是一种从“数据”中找出“模型”的技术。

深度学习是机器学习的一种技术。

深度学习近年来备受关注，因为它很好地解决了一些挑战人工智能的问题。

用于模型训练的数据并不完美，可能包含不同数量（程度）的噪声，问题是机器学习无法区分有用的数据与噪声。如果相信训练数据的每个元素都是正确的，并且精确地拟合模型，那么将得到一个具有较低泛化能力的模型。即拟合得到的模型适用于训练数据，但不适用于其它的现场采集数据。这就被称为过度拟合。

机器学习面临一个进退两难的问题：减少训练数据的拟合误差会导致过度拟合，从而降低泛化性。因此，必须要解决拟合误差与泛化性之间的折中问题。

避免过度拟合的两种典型方法：正则化和验证。（regularizationand validation）

正则化是一种试图尽可能简单地构造模型结构的数值方法。复杂模型（或曲线）往往是过度拟合的。

验证是保留训练数据的一部分，并使用它来监视模型性能的过程。验证数据不用于训练过程。因为训练数据的建模误差不能用于表明数据的过度拟合，所以我们使用训练数据中的一部分来检查模型是否过度拟合。当训练模型对保留的数据输入产生低性能时，模型被过度拟合。在这种情况下，我们将修改模型，以防止过度拟合。

采用验证方法的机器学习步骤：

1. 将训练数据分成两组：一组用于训练，另一组用于验证。作为实际应用上的经验法则，训练集与验证集的比率一般是8:2。
   

2. 用训练集训练模型。
   

3. 使用验证集来评估模型的性能。如果模型得到满意的性能，则完成训练；如果性能没有得到满意的结果，则修改模型，从步骤2重复以上过程。
   

交叉验证是在验证方法上的进一步改进，交叉验证不保留最初划分的集合，而是重复数据的划分。这样做的原因是，即使在验证数据集被固定时，模型也可以能被过度拟合。交叉验证可以保持验证数据集的随机性，可以更好地检测模型的过度拟合。

交叉验证示意图，图中的黑色阴影部分表示验证数据集，在整个训练过程中进行随机选择。

根据训练方法的不同，机器学习技术可分为三种类型：有监督的学习、无监督的学习、强化学习。

有监督学习与人类学习事物的过程非常相似。

1. 选择一道练习题，运用现有知识解决该问题，将自己的答案与解决方案相比较。
   

2. 如果自己的答案是错误的，修正自己当前的知识。
   

3. 对所有练习题重复第1步和第2步。
   

将此示例与机器学习过程进行类比，练习题和解决方案对应于训练数据，而知识对应于模型。重要的是我们需要标准解决方案作为训练的目标。

无监督学习通常用于研究数据的特征和数据的预处理，无监督学习的代表性应用之一是聚类。无监督学习类似于一个学生，他仅仅通过构造和属性来分类问题，而没有学习如何解决这些问题，因为没有已知的正确输出。

强化学习采用输入、输出、评分等集合作为训练数据，即{输入，一些输出，输出评分}。强化学习通常在需要最佳交互时使用，例如控制和游戏。

更多精彩文章请关注微信号：