机器学习1：机器学习目的与数据集，样本空间

机器学习的目的

机器学习的主要目的就是得到让计算机在数据上产出模型 (model) 的学习算法 (learning algo-
rithms). 学习算法是一类能够从数据学习出其背后规律的一种算法

简而言之，我们研究 learning algorithm，使得计算机可以通过 datasets 训练出 model.

“算法”产出的结果称为“模型”，模型通常是具体的函数或者可抽象地看作为函数，例如一元线性回归算法产出的模型即为形如 f(x) = wx + b 的一元一次函数。不过由于严格区分这两者的意义不大，经常混用。

数据集

每一个数据集是由许多个 instance(实例)/sample(样本) 所构成的，每一个 instance 应该包含两类
数据 (一一对应)：Attribute/Feature : Attribute Value, 如 Figure 1.1所示.

以 Instance 的 Attribute 为坐标轴，张成的空间叫做属性空间 (Attribute Space) 或者样本空间
(Sample Space), 在这个 N 维空间中，每个点对应的就是一个 Instance，在向量空间中，每个点
对应一个坐标向量，因此我们也可以把一个 instance 称为特征向量 (feature vector) 。

 

如 Equation 1.1所示，我们假定有一个由 m 个 instance 构成的数据集 D，每一个 instance 都是 d
维3向量空间 X 的一个向量，xij 表示第 i 个实例的第 j 个 attribute.
拥有了 label 的 instance, 我们称为 example, 一般的，我们使用  来表示第 i 个 example，其中 yi ∈ Y 是第 i 个 instance 的 label，Y 是所有 label 的集合，也称作 label space.