- 积极学习方法:从训练记录中提取模型,对预测数据进行分类
- 消极学习方法:Rote分类器,记住整个训练数据,仅当测试实例的属性和某个训练样例完全匹配时才进行分类,缺点是某些测试记录不能被分类
- 更灵活的方法是找出和测试样例的属性相对接近的所有训练样例,这些训练样例即最近邻
- 最近邻分类器是把每个样例看作多维空间上的一个数据点,计算测试样例和训练集中其他数据点的邻近度(任意一种邻近度度量);给定样例z的k-最近邻是指和z距离最近的k个数据点;如果有多个最近邻类标号则指派到多数类
- 最近邻算法:
- 高效的索引技术可以降低测试样例找到最近邻的计算量
- 最近邻表决,每个最近邻对分类的影响都一样,可以对每个最近邻加权
- 最近邻分类器的特征:
- 最近邻的基础技术是基于实例的学习,使用具体的训练实例进行预测
- 消极学习方法每次预测的消耗都很大
- 最近邻分类器基于局部信息进行预测,而积极方法则是寻找输入空间的全局模型,正因为如此当k很小时,对噪声非常敏感
- 最近邻分类器可以生成任意形状的决策边界,决策树和基于规则的分类器通常是直线决策边界
- 采用适当的邻近性度量和数据预处理,可以提高最近邻分类器的准确率