（读书笔记）周志华《机器学习》第1章：绪论

绪论

人工智能在很大程度上集中于统计学和大数据

1.1 引言

傍晚小街路面上沁出微雨后的湿润，和熙的细风吹来，抬头看看天边的晚霞，嗯，明天又是一个好天气。走到水果摊旁，挑了个根蒂蜷缩、敲起来声音浊响的青绿西瓜，一边满心期待着皮薄肉厚瓢甜的爽落感，一边愉快地想着，这学期狠下了工夫，基础概念弄得清清楚楚，算法作业也是信手拈来，这门课成绩一定差不了！

1.1.1 机器学习的定义

正如我们根据过去的经验来判断明天的天气，希望从购买经验中挑选一个好瓜，那能不能让计算机帮助人类来实现这个呢？机器学习正是这样的一门学科，人的“经验”对应计算机中的“数据”，让计算机来学习这些经验数据，生成一个算法模型，在面对新的情况中，计算机便能作出有效的判断，这便是机器学习。

对于机器来说，经验是通过数据传达的。机器学习的主要研究内容就是从数据中产生模型的算法，也即学习算法。另一本经典教材的作者Mitchell给出了一个形式化的定义，假设：

P：计算机程序在某任务类T上的性能。
T：计算机程序希望实现的任务类。
E：表示经验，即历史的数据集。

我们用P来表示程序处理任务T时的性能，如果程序通过利用经验E提高了在任务T上的性能，则称该程序对E进行了学习。

1.2 基本术语

要进行机器学习，首先要有数据，我们可以收集一组结构相同的记录，这组记录的集合就称为数据集。比如下面这个西瓜数据集：

编号	色泽	根蒂	敲声
001	青绿	蜷缩	浊响
002	乌黑	蜷缩	沉闷
003	浅白	硬挺	清脆

注：实际使用数据时往往需要先进行编码，即把文本改为数值（比如青绿=1，乌黑=2，等等），以便计算机进行处理。

接下来给出一些基本概念的定义：

数据集(dataset)

假设我们收集了一批西瓜的数据，例如：（色泽=青绿;根蒂=蜷缩;敲声=浊响)， (色泽=乌黑;根蒂=稍蜷;敲声=沉闷)，
(色泽=浅自;根蒂=硬挺;敲声=清脆)……每对括号内是一个西瓜的记录，所有记录的集合为数据集。

示例(instance)，样本(sample)

数据集中的每条记录是对一个事件或对象（比如这里的西瓜）的描述，也称作示例或者样本。特别地，有时会把整个数据集称为一个样本，因为数据集可以看作是从样本空间中抽样所得。这时候就需要根据上下文信息来进行判断了。

属性(attribute)，特征(feature)，属性值(attribute value)

对象具备一些性质，并由此可以进行区分，这些性质就称为属性或者特征，比方说表格中的色泽、根蒂和敲声。不同对象在这些属性上会有不同的取值，这个取值就称为属性值。

属性空间(attribute space)，样本空间(sample space)，输入空间，特征向量(feature vector)

由属性张成的空间，比方说上面的表格中有3个属性，那就可以张成一个3维空间，每个样本都可以用空间中的一个点来表示，这个点对应于一个坐标向量，所以有时也把一个样本称为一个特征向量。

维数(dimensionality)

即数据集中每个样本拥有的特征数目。