1、关于一个事件或对象的描述,称为一个“示例”(instance)或“样本”(sample),“示例”或“样本”的集合称为一个“数据集”(data set)。
例如,(色泽=青绿;根蒂=蜷缩;敲声=浊响),(色泽=乌黑;根蒂=稍蜷;敲声=沉闷),(色泽=浅白;根蒂=硬挺;敲声=清脆),……每对括号内是一条记录,这组记录的集合就是一个“数据集”。
2、反映事件或对象在某方面的表现或性质的事项,称为“属性”(attribute)或“特征”(feature),例如“色泽”“根蒂”“敲声”
属性上的值,称为“属性值”(attribute value),例如“青绿”“乌黑”,属性张成的空间称为“属性空间”(attribute space)、“样本空间”(sample space)或“输入空间”。例如,如果把“色泽”、“根蒂”、“敲声”作为三个坐标轴,则它们张成一个用于描述西瓜的三维空间,每个西瓜都可在这个空间中找到自己的坐标位置,由于空间中的每个点对应一个坐标向量,因此也把一个示例称为一个“特征向量”。
3、从数据中学得模型的过程称为“学习”(learning)或“训练”(training),这个过程通过执行某个学习算法来完成。训练过程中使用的数据称为“训练数据”(training data),其中每个样本称为一个“训练样本”(training sample),训练样本组成的集合称为“训练集”(training set)。学得模型对应了关于数据的某种潜在的规律,因此亦称“假设”(hypothesis)。这种潜在规律自身,则称为“真相”或“真实”(ground-truth),学习过程就是为了找出或逼近真相。模型有时也称为“学习器”(learner)。
4、关于示例结果的信息,称为“标记”(label)。例如((色泽= 青绿;根蒂=蜷缩;敲声=浊响),好瓜),“好瓜”就是“标记”。
拥有了标记信息的示例,则称为“样例”(example)。若将标记看做对象本身的一部分,则“样例”有时也称为“样本”。所有标记的集合,称为“标记空间”(label space)或“输出空间”。
5、预测的如果是离散值,例如“好瓜”、“坏瓜”,此类学习认为称为“分类”(classification),如果预测的是连续值,例如西瓜的成熟度0.95、0.37,此类学习认为称为“回归”(regression)。对只涉及两个类别的“二分类”任务,通常称其中一个类为“正类”(positive class),另一个为“反类”(negative class)。涉及多个类别时,则称为“多分类”(multi-class classification)任务。
6、学得模型后,使用其进行预测的过程称为“测试”(testing),被预测的样本称为“测试样本”(testing sample)。
7、根据训练数据是否拥有标记信息,学习任务可大致分为两大类:“监督学习”(supervised learning)和“无监督学习”(unsupervised learning)。分类或回归是前者的代表,而聚类是后者的代表。
8、学得模型适用于新样本的能力,称为“泛化”(generalization)能力。
9、通常假设样本空间中全体样本服从一个未知“分布”(distribution)D,我们获得的每个样本都是独立地从这个分布上采样获得的,即“独立同分布”(independent and identically distributed)。