第五章（2） 分类：最近邻分类器

1. 积极学习方法：从训练记录中提取模型，对预测数据进行分类
2. 消极学习方法：Rote分类器，记住整个训练数据，仅当测试实例的属性和某个训练样例完全匹配时才进行分类，缺点是某些测试记录不能被分类
3. 更灵活的方法是找出和测试样例的属性相对接近的所有训练样例，这些训练样例即最近邻
4. 最近邻分类器是把每个样例看作多维空间上的一个数据点，计算测试样例和训练集中其他数据点的邻近度（任意一种邻近度度量）；给定样例z的k-最近邻是指和z距离最近的k个数据点；如果有多个最近邻类标号则指派到多数类
5. 最近邻算法：
   1. 高效的索引技术可以降低测试样例找到最近邻的计算量
   2. 最近邻表决，每个最近邻对分类的影响都一样，可以对每个最近邻加权
6. 最近邻分类器的特征：
   1. 最近邻的基础技术是基于实例的学习，使用具体的训练实例进行预测
   2. 消极学习方法每次预测的消耗都很大
   3. 最近邻分类器基于局部信息进行预测，而积极方法则是寻找输入空间的全局模型，正因为如此当k很小时，对噪声非常敏感
   4. 最近邻分类器可以生成任意形状的决策边界，决策树和基于规则的分类器通常是直线决策边界
   5. 采用适当的邻近性度量和数据预处理，可以提高最近邻分类器的准确率