基本术语

1.一组记录的集合称为一个数据集，其中每条记录是关于一个对象或事件的描述，称为一个“实例”或者“样本”。

2.属性（也可以称为特征）：反映事件或对象在某方面的表现或性质的事项。

3.属性上的取值，称为属性值。

4.由于空间中的每个点对应一个坐标向量，因此我们也把一个实例称为一个“特征向量”。

5.从数据中学得模型的过程 称为“学习”或者“训练”，这个过程通过执行某个学习算法来完成的。

6.训练过程中使用的数据称为“训练数据”，其中每个样本称为一个“训练样本”。

7.示例结果的信息称为“标记”

8.拥有了标记信息的示例（可以理解成：拥有了结果的示例），称为“样例”。

9.如果我们想预测的是离散值，就将此类学习任务称为“分类”；

• 只涉及两个类别的“二分类任务”，通常称其中一个是“正类”，另一个是“反类”
• 涉及多个类别时，则称“多分类”任务
  

   如果我们想预测的是连续值，就将此类学习任务称为 “回归”。

10.聚类：将训练集中的样本分成若干组，每组称为一个“簇”，这些自动形成的簇可能对应一些潜在的概念划分。

需要说明的是，在聚类学习中，我们是事先不知道概念的，而且学习过程中使用的训练样本通常不拥有标记信息。

11.根据训练数据是否拥有标记信息，学习任务可大致划分为两大类：“监督学习”（有标记信息）和“无监督学习”（无标记信息）。

分类和回归 是监督学习的代表

聚类 是无监督学习的代表

12.需要注意的是，机器学习的目标是使学得的模型能很好的适用于“新样本”，而不是仅仅在训练样本上工作的很好；几遍对聚类这样的无监督学习，我们也希望学得的簇划分能够适用于 没在训练集中出现的样本。

泛化能力：学得模型适用于新样本的能力。

13.通常假设样本空间中全体样本服从一个未知“分布”，我们获得的每个样本都是孤立的从这个分布上采样获得的，即“独立同分布”。

经过查找资料得到，“独立同分布”的意思是：在随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且相互独立，那么这些随机就是独立同分布的。

随机变量X1和X2独立，是指，X1的取值不影响X2的取值，X2的取值也不影响X1的取值

随机变量X1和X2同分布，是指，X1和X2服从同一分布，这意味着X1和X2具有相同的分布律，有相同的分布函数，相同的方差和期望。

例如：如果实验条件不变，一系列的抛硬币的正反面结果是独立同分布的。