【机器学习入门】1. 基础知识

《动手学深度学习》，第一章

1. 机器学习概述

机器学习的基本思路

1. 把现实生活中的问题抽象成数学模型，并且清楚模型中不同参数的作用
2. 利用数学方法对这个数学模型进行求解，从而解决现实生活中的问题
3. 评估这个数学模型，是否真正的解决了现实生活中的问题，解决的效果如何

机器学习的基本步骤：

1. 收集数据
2. 数据准备
3. 选择一个模型
4. 训练
5. 评估
6. 参数调整
7. 预测（开始使用）

2. 机器学习的关键组件

数据（data）

数据是机器学习的基石。

每个数据集由一个个样本（example）组成，样本有时也叫做数据点或者实例，通常每个样本由一组称为特征（features）的属性组成。模型会根据这些属性进行预测，要预测的是一个特殊的属性，它被称为标签（label）。

当每个样本的特征类别数量都是相同的时候，其特征向量是固定长度的，这个长度被称为数据的维数（dimensionality）。并不是所有的数据都可以用“固定长度”的向量表示。

一般来说，数据越多，工作就越容易。更多的数据可以被用来训练出更强大的模型，从而减少对预先设想假设的依赖。

注意：仅仅拥有海量的数据是不够的，我们还需要正确的数据。如果数据中充满了错误，或者如果数据的特征不能预测任务目标，那么模型很可能无效。当数据不具有充分代表性，甚至包含了一些社会偏见时，模型就很有可能有偏见。

模型（model）

大多数机器学习会涉及到数据的转换。比如一个“输入照片并预测笑脸”的系统，再比如通过摄取到的一组传感器读数预测读数的正常与异常程度。

目标函数（objective function）

• 损失函数（loss function）：是一种衡量模型与数据吻合程度的算法。损失函数测量实际测量值和预测值之间差距的一种方式。损失函数的值越高预测就越错误，损失函数值越低则预测越接近真实值。
• 代价函数（cost function)：对每个单独的数据点计算损失函数，将所有损失函数的值取平均值的函数。

简单的理解：损失函数是针对单个样本的，而代价函数是针对所有样本的。

注意：有些书上，损失函数就是代价函数。

• 目标函数（objective function）：在机器学习中，我们需要定义模型的优劣程度的度量，这个度量在大多数情况是“可优化”的，就是目标函数。在模型训练过程中，我们想要损失值尽可能低，但是在训练集上的 low loss 不是唯一追求的目标。我们更关心的是模型的泛化能力，也就是在验证/测试集上的表现。为了避免模型对训练集的过拟合，我们通常会加一个**正则化项（regularization term）**来惩罚模型的复杂度，此时我们想要最小化的函数就变成了:
  $$E=Cost(f,D)+Regularizer(f)$$

这里的 E 就是目标函数，是我们最终想要最小化的目标。这时代价函数作为目标函数中的一项，不一定能达到最小值（因为有正则化项约束）。当然，若不添加正则化项，则目标函数就等于代价函数。

算法（algorithm）

当我们获得了一些数据源及其表示、一个模型和一个合适的损失函数，接下来就需要一种算法，它能够搜索出最佳参数，以最小化损失函数。深度学习中，大多流行的优化算法通常基于一种基本方法：梯度下降（gradient descent）。

简而言之，在每个步骤中，梯度下降法都会检查每个参数，看看如果仅对该参数进行少量变动，训练集损失会朝哪个方向移动。然后，它在可以减少损失的方向上优化参数。

3. 机器学习的类型

监督学习（supervised learning）

监督学习是指我们给算法一个数据集，并且给定正确答案，机器通过数据来学习正确答案的计算方法。也就是监督学习的数据是带有标签的。

监督学习可以进一步分为两类问题：回归和分类。

1.回归（regression）

回归问题本质上是输出决定的，回归问题所使用的数据的标签是一个连续的数值。此时的目标是生成一个模型，使它的预测非常接近实际标签值。

生活中的许多问题都可归类为回归问题。比如预测用户对一部电影的评分、预测病人在医院的住院时间也是一个回归问题。

2. 分类（classification）

回归模型可以很好地解决“有多少”的问题，但是很多问题并非如此。例如，读取图片中的字符，并将其映射到对应的已知字符之上。这种“哪一个”的问题叫做分类问题。 分类问题希望模型能够预测样本属于哪个类别（class）。

例如，数字可能有10类，标签被设置为数字0～9。 最简单的分类问题是只有两类，这被称之为二项分类（binomial classification）。分类问题的标签是一个离散的值。

回归是训练一个回归函数来输出一个数值；分类是训练一个分类器来输出预测的类别。

然而模型怎么判断得出这种“是”或“不是”的硬分类预测呢？ 我们可以试着用概率语言来理解模型。 给定一个样本特征，模型为每个可能的类分配一个概率。比如猫狗分类例子中，分类器可能会输出图像是猫的概率为 0.9。 0.9这个数字表达的意思就是分类器认为90%图像中是一只猫的概率为 0.9。

无监督学习（unsupervised learning）

与监督学习相对，无监督学习的特点就是我们给算法的数据集，并没有标签。无监督学习的核心思想是通过对数据的统计特性和相似性进行分析，来发现数据中的潜在结构和模式。

无监督学习可以分为两类问题：聚类和降维。

• 聚类：将数据分成不同的组或簇，使得同一组内的数据相似度高，不同组之间的相似度低。
• 降维：将高维数据映射到低维空间，以减少特征维度和数据复杂性。

强化学习（reinforcement learning）

强化学习的特点是会与环境交互并采取行动。这可能包括应用到机器人、对话系统，甚至开发视频游戏的人工智能。

在强化学习问题中，智能体（agent）在一系列的时间步骤上与环境交互。在每个特定时间点，智能体从环境接收一些观察（observation），并且必须选择一个动作（action），然后通过某种机制（有时称为执行器）将其传输回环境，最后智能体从环境中获得奖励（reward）。此后新一轮循环开始，智能体接收后续观察，并选择后续操作，依此类推。

强化学习的目标是产生一个好的策略（policy）。 强化学习智能体选择的“动作”受策略控制，即一个从环境观察映射到行动的功能。