周志华《机器学习》西瓜书第一章绪论第一部分

第一章  绪论

1.1 引言 

1.机器学习通过计算手段改善自身性能的学科，“经验”以“数据”形式存在。

2.机器学习是计算机利用数据产生“模型"的算法,即学习算法（learing algorithm）。即建模方法。

3.Mitchell 1997年对机器学习给出了形式化的定义：设用P来评估计算机程序在某任务T中的性能，若程序通过利用经验E在T中获得了性能的改善，那么我们就说关于T和P,该程序对E进行了学习。

4.计算机科学=算法   机器学习=学习算法=建模方法

1.2基本术语

1.机器学习首先要有数据

示例（instance）或样本（sample）:关于一个事件或对象（西瓜）的描述。

属性（attribute）或特征（feature）:反映事件或对象某方面的表现或性质的事项，例如“色泽”“根蒂”或“敲声”。

属性值(attribute value):属性的取值，如“青绿”“乌黑”等。

属性空间（attribute space）:属性张成的空间。

样本空间(sample space）=输入空间:例如我们把“色泽”“根蒂”“敲声”作为三维坐标轴，则把他们张成的空间一个描述西瓜的三维空间，每个西瓜都可以在这个空间中找到自己的坐标。

特征向量（feature vector）：空间中的每个点对应一个向量，我们也把一个示例称为一个特征向量。

数据集（data set）:样本集合

 

 

 

学习（learning）或训练（training）:从数据中学得模型的过程。这个过程通过执行某个学习算法来实现的。

训练数据（training data）:训练过程中使用到的数据叫做训练数据。

训练样本（training sample）:训练数据中的每个样本叫做训练样本。

训练集（training set）:训练样本组成的集合。

假设（hypothesis）：学习模型对应关于数据的某种潜在的规律叫做“假设”。

真相或真实（ground truth）:这种潜在的规律本身叫做真相或真实。

模型：学习器（learner）,可以看作学习算法在给定数据和参数空间上的实例化。

训练样本也称为训练示例（training instance），或训练例.

学习算法通常需要参数设置，使用不同的参数或训练数据，将产生不同的效果。

预测（prediction）:需要知道训练样本的结果信息，比如说是“好瓜”。

标记（label）:这里的“好瓜”就是标记。

样例（example）:带有标记的示例

 

分类（classification）:如果我们是预测的离散的值，例如，“好瓜”“坏瓜”

只涉及两种类别的“二分类”(binary classification),通常一个叫做“正类”（positive class）,另一个叫做“反类”（negative class）,涉及多个类叫做“多分类”（multi-class classification）任务。

回归（regression）:如果我们预测的值是连续的值，例如西瓜的成熟度，0.95,0.37等。

 

测试（testing）:学得模型后，使用其进行预测的过程称为“测试”testing,被预测的样本称为“测试样本”（testing sample）,例如学得f后，对于测试例x,可以得到预测标记y=f(x).

聚类（clustering）:将训练集中的西瓜分成若干组，每组成为一个“簇”（cluster），这些自动形成的簇可以对应一些潜在的概念划分，例如“浅色瓜”“神色瓜”，“本地瓜”“外地瓜”，这些学习能够有助于我们了解数据的内部规律，能更深入分析数据建立基础。

     需要注意的是，在聚类学习中，我们对于“浅色瓜”“本地瓜”这样的概念，我们事先并不知道，而且在学习的过程中使用的训练数据样本通常不拥有标记信息。

监督学习（supervised learning）和无监督学习（unsupervised learning）:我们根据训练数据是否拥有标记信息，学习任务可以大致分成这两类，分类和回归是前者的代表，聚类是后者的代表。他们又称为“有导师学习”和“无导师学习”。

泛化能力（generalization）：机器学习的目标是使学得的模型很好的适应”新样本”，而不是仅仅在训练样本上工作的很好，即便是对于聚类这种无监督学习任务，我们也希望得到的簇划分能够适用于没在训练集中的样本，学得的模型适用于新的样本，我们叫做“泛化能力”，具有较强泛化能力的模型能够很好的适用于整个样本空间。

     尽管训练集只是样本空间中很小的采样，我们仍然希望它能够反映出样本空间的特性，否则很难期望它在训练集上学得的模型能在整个样本空间上都工作的很好。

     通常我们认为全部的样本满足一个未知的”分布”（distribution），我们所获得的每个样本都是独立的从这个分布上采样获得的，即“独立同分布”（independent  and identically distributed 简称i.i.d），通常训练样本越多，我们越可能得到泛化能力强的模型。