Chapter 8 基于实例的学习

第8章 基于实例的学习

基于实例的学习方法也被称为消极学习法，因为它们只是简单地把训练样例存储起来，而把处理工作延迟到必须分类新的实例时。
基于实例的方法可以为不同的待分类查询实例建立不同的目标函数逼近。
基于实例的方法的不足：一是分类新实例的训练开销可能很大；二是当从存储器中检索相似的训练样例时，它们一般考虑实例的所有属性。

8.1 k-近邻算法

算法假定所有的实例对应于 $n$ 维空间 $\mathbb{R}^n$ 中的点。把任意的实例 $x$ 表示为下面的特征向量：

$$\langle a_1(x),a_2(x),\dots,a_n(x) \rangle$$ 其中， $a_r(x)$ 表示实例 $x$ 的第 $r$ 个属性值。两个实例 $x_i$ 和 $x_j$ 之间的距离使用欧式距离定义：

$$d(x_i,x_j) \equiv \sqrt{\sum_{r=1}^n \left[( a_r(x_i)-a_r(x_j) \right]^2}$$
目标函数值可以是离散值也可以是实值：

8.1.1 逼近离散值函数 $f:\mathbb{R}^n \to V$ 的k-近邻算法

训练算法
  对于每个训练样例$\langle x,f(x) \rangle$，把这个样例加入列表training_examples
分类算法
  给定一个要分类的查询实例 $x_q$ :
    在training_example中选出最靠近 $x_q$ 的 $k$ 个实例，并用 x1,…,