ML基本概念

数据集data set

样本sample、示例instance

特征feature、属性attribute

属性值attribute value

属性空间attribute space、样本空间sample space——属性张成的空间

特征向量feature vector——样本可以在空间中找到自己的坐标位置，由于空间中的每个点对应一个坐标向量，因此可以把一个示例称为一个特征向量

学习learning、训练training——从数据中学到模型的过程；学得模型对应了关于数据的某种潜在规律——假设hypothesis；模型也称为学习器learner

训练数据training data

训练样本training sample

训练集training set

根据训练数据是否拥有标记信息，学习任务大致分为两类：监督学习supervised learning和无监督学习unsupervised learning—监督学习又分为回归regression和分类classification

泛化能力generalization——模型适用于新样本的能力

错误率error rate——如果在m个样本中有a个样本分类错误，则错误率$E=\frac{a}{m}$

精度accuracy——精度=1-错误率，$(1-\frac{a}{m})\times 100\%$

误差error——学习器（模型）的实际预测输出与样本的真实输出直接的差异

训练误差training error、经验误差empirical error——学习器在训练级上的误差

泛化误差generalization error——在新样本上的误差

过拟合overfitting——模型可能把训练样本自身的一些特点当作所有潜在样本都会具有的一般性质，导致泛化性能下降

欠拟合underfitting——对训练样本的一般性质尚未学好