机器学习系列(一)--术语篇

机器学习的术语：

机器学习正是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能.在计算机系统中，“经验”通常以“数据”形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模 型”（model)的算法，即“学习算法”（learning algorithm).有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型；在面对新的情况时(例 如看到一个没剖开的西瓜)，模型会给我们提供相应的判断(例如好瓜).如果说计算机科学是研究关于“算法”的学问，那么类似的，可以说机器学习是研究关于“学习算法”的学问。

基本术语：

编号	色泽	根蒂	敲声	好瓜
1	青绿	蜷缩	浊响	是
2	乌黑	蜷缩	浊响	是
3	青绿	硬挺	清脆	否
4	乌黑	稍蜷	沉闷	否

数据集（data set）

这组记录的集合称为一个数据集（data set）

示例”（instance)、样 本”（sample)

其中每条记录是关于一个事件或对象(这里是一个西瓜)的描述，称为一个“示例”（instance)或“样 本”（sample).有时整个数据集亦称一个“样本”，因为它可看作对样本空间的一个采样; 通过上下文可判断出“样本”是指单个示例还是数据集。

属性（attribute）、特征（feature）

反映事件或对象在某方面的表现或性质的事项，例如“色泽” “根蒂”“敲声”，称为“属性”（attribute)或“特征”（feature).

属性值（attribute value）

属性上的取值，例如“青绿”“乌黑”，称为“属性值”（attribute value)“.

“属性空间”（attribute space)、“样本空间”（sample space)或“输入空间”

属性合成的空间称为“属性空间”（attribute space)、“样本空间”（sample space)或“输入空间”

 

 

 

特征向量（feature vector）

例如我们把“色泽” “根蒂” “敲声”作为三个坐标轴，则它们张成 一个用于描述西瓜的三维空间，每个西瓜都可在这个空间中找到自己的坐标位 置.由于空间中的每个点对应一个坐标向量，因此我们也把一个示例称为一个 “特征向量”（feature vector).

维数（dimensionality）

一般地，令* D * = { x1x1 ,x2x2, …，xmxm}表示包含m个示例的数据集，每个示例由d个属性描述(例如上面的西瓜数据使用了3个属性)，则每个示例 xixi =(xi1xi1;xi2xi2;…x_id）是d维样本空间* X* 中的一个向量，xi∈xi∈* X * ,其中xijxij 是xixi在第j个属性上的取值(例如上述第3个西瓜在第2个属性上的值是“硬挺”），* d * 称为样本xixi的 “维数”（dimensionality).

学习、训练、训练数据、训练样本、训练集、假设、真相、真实、学习器

从数据中学得模型的过程称为“学习”（learning)或“训练”（training), 这个过程通过执行某个学习算法来完成.训练过程中使用的数据称为“训练 数据”（training data)，其中每个样本称为一个“训练样本”（training sample), 训练样本组成的集合称为“训练集”（training set).学得模型对应了关于数据的某种潜在的规律，因此亦称假设”（hypothesis);这种潜在规律自身，则称为“真相”或“真实” (ground-tmth),学习过程就是为了找出或逼近真相.有时将模型称为“学习器”（learner),可看作学习算法在给定数据和参数空间上的实例化.

“训练示例” （training instance)、“训练例”

训练样本亦称“训练示例” （training instance)或“训练例”.

预测、标记、样例、标记空间、输出空间

学习算法通常有参数需设置，使用不同的参数值 和(或)训练数据，将产生不同的结果.

如果希望学得一个能帮助我们判断没剖开的是不是“好瓜”的模型，仅有前面的示例数据显然是不够的.要建立这样的关于“预测”（prediction)的模型，我们需获得训练样本的“结果”信息，例如“((色泽=青绿;根蒂=蜷缩; 敲声=浊响)，好瓜这里关于示例结果的信息，例如“好瓜”，称为“标记”（label);拥有了标记信息的示例，则称为“样例”（example).—般地，用(xixi，yiyi）表示第i个样例，其中队yi∈yi∈ * y * 是示例xixi的标记，* y * 是所有标记的集合, 亦称“标记空间”（label space)或“输出空间”.

将“label”译为“标记”而非“标签”，是考虑到英文中“label”既可用作名词、也可用作动词.若将标记看作对象本身的一部分，则“样例”有时也称为“样本”.

分类、回归、二分类、正类、反类、多分类

若我们欲预测的是离散值，例如“好瓜”“坏瓜”，此类学习任务称为“分类”（classification);若欲预测的是连续值，例如西瓜成熟度0.95、0.37, 此类学习任务称为“回归”（regression).对只涉及两个类别的“二分类”（binary classification)任务，通常称其中一个类为“正类”（positive class), 另一个类为“反类'(negative class);涉及多个类别时，则称为“多分类”（multi-class classification)任务.一般地，预测任务是希望通过对训练集{(x1,y1x1,y1),(x2,y2x2,y2)，…，(xm,ymxm,ym)}进行学习，建立一个从输入空间 * x * 到输出空间yy的映射ff:X⟼YX⟼Y 对二分类任务，通常令yy = {-1, +1}或{0, 1};对多分类任务，|yy|> 2;对回归任务,yy = RR，RR为实数集.

 Note:

学得模型后，使用其进行预测的过程称为“测试”（testing)，被预测的样本 称为“测试样本”（testing sample).例如在学得ff后，对测试例xx可得到其预 测标记y=f(x)y=f(x)亦称“测试示例”（testing instance） 或“测试例”

聚类、簇

我们还可以对西瓜做“聚类”（clustering)，即将训练集中的西瓜分成若干 组，每组称为一个“簇”（cluster);这些自动形成的簇可能对应一些潜在的概念划分，例如“浅色瓜”“深色瓜”，甚至“本地瓜”“外地瓜”.这样的学习过程有助于我们了解数据内在的规律，能为吏深入地分析数据建立基础.需说明 的是，在聚类学习中，“浅色瓜” “本地瓜”这样的概念我们事先是不知道的， 而且学习过程中使用的训练样本通常不拥有标记信息.

监督学习、无监督学习

根据训练数据是否拥有标记信息，学习任务可大致划分为两大类：“监督学习 ”（supervised learning)和“无监督学习 ”（unsupervised learning),分类和回归是前者的代表，而聚类则是后者的代表.

亦称“有导师学习”和“无导师学习”

泛化能力

需注意的是，机器学习的目标是使学得的模型能很好地适用于“新样本”, 而不是仅仅在训练样本上工作得很好；即便对聚类这样的无监督学习任务，我们也希望学得的簇划分能适用于没在训练集中出现的样本.学得模型适用于新样本的能力，称为“泛化”（generalization)能力.具有强泛化能力的模型能 很好地适用于整个样本空间.于是，尽管训练集通常只是样本空间的一个很小的采样，我们仍希望它能很好地反映出样本空间的特性，否则就很难期望在训练集上学得的模型能在整个样本空间上都工作得很好.通常假设样本空间中全 体样本服从一个未知“分布”（distribution)DD，我们获得的每个样本都是独立地从这个分布上采样获得的，即“独立同分布”（independent and identically distributed，简称i.i.d.i.i.d.). —般而言，训练样本越多，我们得到的关于DD的信息越多，这样就越有可能通过学习获得具有强泛化能力的模型.

总结：

 

 

假设空间

归纳(induction)与演绎(deduction)是科学推理的两大基本手段。前者是从特殊到一般的“泛化”（generalization)过程，即从具体的事实归结出一般性规律；后者则是从一般到特殊的“特化”（specialization)过程，即从基础原理推演 出具体状况.例如，在数学公理系统中，基于一组公理和推理规则推导出与之相洽的定理，这是演绎;而“从样例中学习”显然是一个归纳的过程，因此亦称 “归纳学习 ”（inductive learning) 。

归纳学习有狭义与广义之分，广义的归纳学习大体相当于从样例中学习， 而狭义的归纳学习则要求从训练数据中学得概念(concept)，因此亦称为“概念 学习”或“概念形成”.概念学习技术目前研究、应用都比较少，因为要学得 泛化性能好且语义明确的概念实在太困难了，现实常用的技术大多是产生“黑 箱”模型.然而，对概念学习有所了解，有助于理解机器学习的一些基础思想.

概念学习中最基本的是布尔概念学习，即对“是”“不是”这样的可表示 为0/1布尔值的目标概念的学习。

编号	色泽	根蒂	敲声	好瓜
1	青绿	蜷缩	浊响	是
2	乌黑	蜷缩	浊响	是
3	青绿	硬挺	清脆	否
4	乌黑	稍蜷	沉闷	否

(色泽=?)⋀(根蒂=?)⋀(敲声=?)↔好瓜

学习过程⟶⟶ 在所有假设(hypothesis)组成的空间中进行搜索的过程

目标: 找到与训练集“匹配”(fit)的假设

以西瓜问题假设为例。色泽属性可取（青绿，乌黑，浅白，* ），根蒂属性可取（蜷缩，稍蜷，硬挺，* ），敲声属性可取（浊响，清脆，沉闷，* ），以及好瓜假设不存在(ϕϕ)。即西瓜问题的假设空间大小为（4 * 4 * 4 + 1=65）

版本空间

可以有许多策略对这个假设空间进行搜索，例如自顶向下、从一般到特殊， 或是自底向上、从特殊到一般，搜索过程中可以不断删除与正例不一致的假设、和(或)与反例一致的假设.最终将会获得与训练集一致(即对所有训练样本 能够进行正确判断)的假设，这就是我们学得的结果.

需注意的是，现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，我们称之为“版本空间”（version space)

 

 

 

 

归纳偏好

通过学习得到的模型对应了假设空间中的一个假设.于是，上面西瓜版本空间给我们带来一个麻烦：现在有三个与训练集一致的假设，但与它们对应的模型在面临新样本的时候，却会产生不同的输出.例如，对(色泽=青绿; 根蒂=蜷缩；敲声=沉闷)这个新收来的瓜，如果我们采用的是“好瓜⟷⟷(色泽=* )