周志华《机器学习》学习笔记—第1章 绪论

1.1 机器学习的定义

定义：机器学习是用数据或以往的经验，生成并不断完善算法模型性能，在面对新的情况中，计算机便能作出有效的判断。

另一本经典教材的作者Mitchell给出了一个形式化的定义，假设：

• P：计算机程序在某任务类T上的性能。
• T：计算机程序希望实现的任务类。
• E：表示经验，即历史的数据集。

若该计算机程序通过利用经验E在任务T上获得了性能P的改善，则称该程序对E进行了学习。

1.2 机器学习的一些基本术语

假设我们收集了一批西瓜的数据，例如：（色泽=青绿;根蒂=蜷缩;敲声=浊响)， (色泽=乌黑;根蒂=稍蜷;敲声=沉闷)， (色泽=浅自;根蒂=硬挺;敲声=清脆)……每对括号内是一个西瓜的记录，定义：

• 数据集（data set）：所有记录的集合。

• 实例（instance）、样本（sample）：每一条记录。

• 属性（attribute）、特征（feature）：反映事件或对象在某方面的特征或性质，例如 色泽。

• 属性值（attribute value）：属性上的取值，例如 色泽=“青绿”。

• 属性空间（attribute space）、样本空间、输入空间：属性张成的空间。

• 特征向量（feature vector）：利用西瓜的三个属性，张成一个三维空间，每个西瓜都可以用坐标轴中的一个点表示，即坐标向量。

• 维数（dimensionality）：一个样本的属性数目。当维数非常大时，也就是现在说的“维数灾难”。

• 学习（learning）、训练（training）：计算机程序从经验数据生成算法模型的过程。

• 训练数据（training data）：训练过程种使用的数据。

• 训练样本（training sample）：每一条数据称为训练样本。

• 训练集（training set）：训练样本组成的集合，[特殊]。

• 测试集（test set）:所有测试样本的集合，[一般]。

• 泛化能力（generalization）:机器学习出来的模型适用于新样本的能力，即从特殊到一般。

• 假设（hypothesis）：学得得模型对应于关于数据恩等某种潜在的规律。

• 真相（ground-truth）：潜在的自身规律，学习过程就是为了找出真相。

• 学习器（learner）：模型。

• 样例（example）：拥有标记信息（label）的模型

• 分类（classification）：预测的是离散值，例如“好瓜”、“坏瓜”。

  ① 二分类：这涉及两个类别，称其中一个为“正类”，一个为“负类”。

  ② 多类：涉及多个类

• 回归（regression）：预测的是连续值。

• 测试（testing）：学得模型，进行预测的过程。

• 聚类（clustering）：训练集中分成若干个簇。

• 泛化（generalization）：学得模型使用于新样本的能力。

• 训练数据有标记信息的学习任务为：监督学习（supervised learning），容易知道上面所描述的分类和回归都是监督学习的范畴。

• 训练数据没有标记信息的学习任务为：无监督学习（unsupervised learning），常见的有聚类和关联规则。

1.3 假设空间

• 归纳（induction）：从特殊到一般。
• 归纳学习：从样例中学习。（广义）
• 演绎（deduction）：从一般到特殊。
• 假设空间：所有假设组成的空间
• 版本空间：存在着一个与训练集相一致的“假设集合”。

1.4 归纳偏好

定义：机器学习算法在学习过程中对某种类型假设的偏好。

“奥卡姆剃刀”：若有多个假设与观察一致，则选择最简单的那个，即曲线更加平滑。

没有免费的午餐(NFL)：对于一个算法a，如果在某种问题上比算法b好，必然存在在另一种情况，算法b比算法a好。