动手学深度学习——引言

模型-数据的转换

        深度学习的特点在于其关注的功能强大的模型，这些模型由神经网络错综复杂的交织在一起，包含层层数据转换，因此被称为深度学习。

        深度学习是对数据的处理，使之拥有合理的输出。

目标函数

        在机器学习中，我们要定义模型的优劣程度的度量，称之为“目标函数”，也就是说目标函数是用来衡量模型的优劣的。我们定义一个目标函数，并希望优化它到最低点，因为越低越好，我们也称之为“损失函数”。

        当预测任务是数值时，通常采用平方误差，即预测值与真实值只差的平方。当试图解决分类问题时，最常见的目标函数时最小化错误率，即预测与实际情况不符的样本比例。有些目标函数很容易本优化，比如平方误差。但是如错误率由于不可微性或其他复杂性难以直接优化。这种情况，会优化替代目标。

        损失函数是根据模型参数定义的，并且取决于数据集。在一个数据集上，我们可以通过最小化总损失来学习模型参数的最佳值。该数据集由一些为训练而收集的样本组成，称为训练数据集。

        数据集可以分为两个部分：训练数据集用于拟合模型参数，测试数据集用于评估拟合的模型。当一个模型在训练集表现良好，但是不能推广到测试集时，这个模型称之为过拟合。

优化算法

        当拥有了一些数据源及其表示，一个模型和一个合适的损失函数，接下来需要一种算法，可以搜索出最佳参数，以最小化损失函数。也就是说算法是用来搜索最佳参数来最小化损失函数的。深度学习中，大多流行的优化算法通常都基于一个基本方法-梯度下降。

各种机器学习问题

监督学习

        擅长在“给定输入特征”的情况下预测标签。每个“特征-标签”对都对应一个样本。即使使用简单的描述给定输入特征的预测标签，监督学习也可以采取多种形式的模型

        分类是训练一个分类器来输出预测的类别。   

        序列学习

        标记和解析。

无监督学习

        聚类问题：没有标签的情况下，我们能否对数据分类呢？例如给定一组照片，我们能把他们分为风景照片、狗、婴儿、猫和山峰的图片吗？

        主成分分析问题：我们能否找到少量的参数来准确地捕捉数据的线性相关属性。那么我们能否根据这一特点来找到相关的故障发生原因呢？也就是说对故障发生原因进行推断，但是这个关键在于，好像是找不到直接的引起的原因，但是能不能对其几个主成分进行分析呢？

        因果关系和概率图模型问题;我们能否描述观察到的许多数据的根本原因呢?

        生成对抗网络：为我们提供一种合成数据的方法，甚至图像和音频这样的复杂的非结构化数据。潜在的统计机制是检查真实和虚假数据是否相同的测试。

与环境进行互动

强化学习reinforcement learning

        我们可以将任何监督学习问题转化为强化学习问题。假设我们有一个分类问题，可以创建一个强化学习智能体，每个分类对应一个“动作”，然后我们可以创建一个环境，该环境给予智能体的奖励，这个奖励与原始监督学习问题的损失函数是一致的。看看能够用强化学习方法来解决一下故障诊断问题。

特点

        机器学习可以使用数据来学习输入和输出之间的转换。深度学习是“深度”的，模型学习了很多"层“的转换，每一层提供一个层次的表示。例如。靠近输入的层可以表示数据的低级细节，而接近分类输出的层可以表示用于区分的更抽象的概念。由于表示学习（representation learning )目的是寻找表示本身，因此深度学习可以成为”多级表示学习“。

小结

        深度学习不仅取代了传统机器学习的浅层模型，而且取代了劳动密集型的特征工程。最近在深度学习方面取得的许多进展，大多是廉价的传感器和互联网规模应用所产生的大量数据，以及算例的突破来触发的。