Dive Into Deep Learning——1、前言

目录

模型

模型族

学习算法

数据

数据的维度

目标函数

过拟合

优化算法

监督学习

回归

分类

序列学习

无监督学习

与环境互动

强化学习

总结

这里主要是对一些我认为需要复习的名词以及相关内容进行摘录，作为学习笔记来用，非原创。

模型

你可以把参数看作是旋钮，我们可以转动旋钮来调整程序的行为。 任一调整参数后的程序，我们称为模型（model）

模型族

通过操作参数而生成的所有不同程序（输入-输出映射）的集合称为“模型族”

学习算法

使用数据集来选择参数的元程序被称为学习算法（learning algorithm）。

数据

样本有时也叫做数据点（data point）或者数据实例（data instance），通常每个样本由一组称为特征（features，或协变量（covariates））的属性组成。 机器学习模型会根据这些属性进行预测。 在上面的监督学习问题中，要预测的是一个特殊的属性，它被称为标签（label，或目标（target））。

数据的维度

当每个样本的特征类别数量都是相同的时候，其特征向量是固定长度的，这个长度被称为数据的维数（dimensionality）。 固定长度的特征向量是一个方便的属性，它有助于我们量化学习大量样本。深度学习的一个主要优势是可以处理不同长度的数据。

目标函数

 在机器学习中，我们需要定义模型的优劣程度的度量，这个度量在大多数情况是“可优化”的，我们称之为目标函数（objective function）。 我们通常定义一个目标函数，并希望优化它到最低点。 因为越低越好，所以这些函数有时被称为损失函数（loss function，或cost function）。 但这只是一个惯例，你也可以取一个新的函数，优化到它的最高点。 这两个函数本质上是相同的，只是翻转一下符号。

过拟合

训练数据集用于拟合模型参数，测试数据集用于评估拟合的模型。当一个模型在训练集上表现良好，但不能推广到测试集时，我们说这个模型是“过拟合”（overfitting）的。 就像在现实生活中，尽管模拟考试考得很好，真正的考试不一定百发百中。

优化算法

一旦我们获得了一些数据源及其表示、一个模型和一个合适的损失函数，我们接下来就需要一种算法，它能够搜索出最佳参数，以最小化损失函数。 深度学习中，大多流行的优化算法通常基于一种基本方法–梯度下降

监督学习

监督学习（supervised learning）擅长在“给定输入特征”的情况下预测标签。 每个“特征-标签”对都称为一个样本（example）。 有时，即使标签是未知的，样本也可以指代输入特征。 我们的目标是生成一个模型，能够将任何输入特征映射到标签，即预测。

回归

回归（regression）是最简单的监督学习任务之一。本质上是输出决定的。 假设你在市场上寻找新房子，你可能需要估计一栋房子的公平市场价值。 销售价格，即标签，是一个数值。 当标签取任意数值时，我们称之为回归问题。 我们的目标是生成一个模型，它的预测非常接近实际标签值。总而言之，判断回归问题的一个很好的经验法则是，任何有关“多少”的问题很可能就是回归问题。比如：

• 这个手术需要多少小时？

• 在未来六小时，这个镇会有多少降雨量？

分类

一家银行希望在其移动应用程序中添加支票扫描功能。 具体地说，这款应用程序能够自动理解从图像中看到的文本，并将手写字符映射到对应的已知字符之上。 这种“哪一个？”的问题叫做分类（classification）问题。 在分类问题中，我们希望模型能够预测样本属于哪个类别（category，正式称为类（class））。 例如，对于手写数字，我们可能有10类，分别数字0到9。 最简单的分类问题是只有两类，我们称之为“二元分类”。 例如，数据集可能由动物图像组成，标签可能是猫狗{猫,狗}两类。 在回归中，我们训练一个回归函数来输出一个数值； 而在分类中，我们训练一个分类器，它的输出即为预测的类别。

当我们有两个以上的类别时，我们把这个问题称为多元分类（multiclass classification）问题。 常见的例子包括手写字符识别 {0,1,2,...9,a,b,c,...}。 与解决回归问题不同，分类问题的常见损失函数被称为交叉熵（cross-entropy）

并不是所有的错误都是均等的。 我们宁愿错误地分入一个相关的类别，也不愿错误地分入一个遥远的类别，这通常被称为层次分类(hierarchical classification)。 

学习预测不相互排斥的类别的问题称为多标签分类（multi-label classification）。 举个例子，人们在技术博客上贴的标签，比如“机器学习”、“技术”、“小工具”、“编程语言”、“Linux”、“云计算”、“AWS”。 一篇典型的文章可能会用5-10个标签，因为这些概念是相互关联的。 关于“云计算”的帖子可能会提到“AWS”，而关于“机器学习”的帖子也可能涉及“编程语言”。

序列学习

比如：语音文本的相互转换，机器翻译等应用。长短序列的相互转换。

标记和解析。这涉及到用属性注释文本序列。 换句话说，输入和输出的数量基本上是相同的。 例如，我们可能想知道动词和主语在哪里，或者，我们可能想知道哪些单词是命名实体。 通常，目标是基于结构和语法假设对文本进行分解和注释，以获得一些注释。 这听起来比实际情况要复杂得多。 下面是一个非常简单的示例，它使用“标记”来注释一个句子，该标记指示哪些单词引用命名实体。 标记为“Ent”，是实体（entity）的简写。

Tom has dinner in Washington with Sally
Ent  -    -    -     Ent      -    Ent

无监督学习

你的老板可能会给你一大堆数据，然后让你用它做一些数据科学研究，却没有对结果有要求。 我们称这类数据中不含有“目标”的机器学习问题为无监督学习（unsupervised learning）

聚类问题、主成分分析问题、因果关系和概率图模型问题、生成对抗性网络等几个应用领域

（虽然我目前也不知道这几个词是什么意思）

与环境互动

到目前为止，不管是监督学习还是无监督学习，我们都会预先获取大量数据，然后启动模型，不再与环境交互。 这里所有学习都是在算法与环境断开后进行的，被称为离线学习（offline learning）。 

强化学习

如果你对使用机器学习开发与环境交互并采取行动感兴趣，那么你最终可能会专注于强化学习（reinforcement learning）。 强化学习的目标是产生一个好的策略（policy）。可以通过正确或错误的动作获得一些奖励或惩罚。

总结

2022-6-23

暑期第一天学习，看完了前言部分，还没有复习之前看过的代码部分，还有很长的路要走，继续努力！