周志华《机器学习》总结——一周学完西瓜书

周志华《机器学习》总结——day1

一、绪论

1.1 机器学习的定义

人的“经验”对应计算机中的“数据”，让计算机来学习这些经验数据，生成一个算法模型，在面对新的情况中，计算机便能作出有效的判断，这便是机器学习。

另一本经典教材的作者Mitchell给出了一个形式化的定义，假设：

• P：计算机程序在某任务类T上的性能。
• T：计算机程序希望实现的任务类。
• E：表示经验，即历史的数据集。

若该计算机程序通过利用经验E在任务T上获得了性能P的改善，则称该程序对E进行了学习。

1.2 机器学习的基本术语

假设我们收集了一批西瓜的数据，例如：（色泽=青绿;根蒂=蜷缩;敲声=浊响)， (色泽=乌黑;根蒂=稍蜷;敲声=沉闷)， (色泽=浅自;根蒂=硬挺;敲声=清脆)……每对括号内是一个西瓜的记录，定义：

• 数据集：所有记录的集合
• 实例（instance）或样本（sample）：每一条记录
• 特征（feature）或属性（attribute）：单个样本的特点，例如：色泽或敲声
• 维数（dimensionality）：样本的特征数，该西瓜的例子维数为3，维数非常大时，会造成“维数灾难”。
• 属性空间（attribute space）或样本空间或输入空间：属性张成的空间
• 特征向量（feature vector）：在属性空间中，每个西瓜都可以用坐标轴中的一个点表示，一个点也是一个向量，例如（青绿，蜷缩，浊响），一个样本也称为一个特征向量

计算机程序学习经验数据生成算法模型的过程中，每一条记录称为一个“训练样本”，同时在训练好模型后，我们希望使用新的样本来测试模型的效果，则每一个新的样本称为一个“测试样本”。定义：

• 训练集（trainning set）：所有训练样本的集合。[特殊]。
• 测试集（test set）：所有测试样本的集合为。[一般]。
• 泛化能力（generalization）：机器学习出来的模型适用于新样本的能力为，即从特殊到一般。
• 假设空间：所有假设组成的空间，通配符*（表示这个属性可取任意值），假设空间规模大小计算：（属性1取值个数+1）*（属性2取值个数+1）*…+1
• 版本空间：与训练集一致的假设集合，利用训练集训练后的假设空间

西瓜的例子中，我们是想计算机通过学习西瓜的特征数据，训练出一个决策模型，来判断一个新的西瓜是否是好瓜。可以得知我们预测的是：西瓜是好是坏，即好瓜与差瓜两种，是离散值。同样地，也有通过历年的人口数据，来预测未来的人口数量，人口数量则是连续值。定义：

• 分类（classification）：预测值为离散值的问题。
• 回归（regression）：预测值为连续值的问题。

我们预测西瓜是否是好瓜的过程中，很明显对于训练集中的西瓜，我们事先已经知道了该瓜是否是好瓜，学习器通过学习这些好瓜或差瓜的特征，从而总结出规律，即训练集中的西瓜我们都做了标记，称为标记信息。但也有没有标记信息的情形，例如：我们想将一堆西瓜根据特征分成两个小堆，使得某一堆的西瓜尽可能相似，即都是好瓜或差瓜，对于这种问题，我们事先并不知道西瓜的好坏，样本没有标记信息。定义：

• 监督学习（supervised learning）：训练数据有标记信息的学习任务为，分类和回归都是监督学习的范畴。
• 无监督学习（unsupervised learning）：训练数据没有标记信息的学习任务，常见的有聚类和关联规则。

参考：https://www.heywhale.com/mw/project/67ecd5310fd2431a31dc64f2