一、数学原理
KNN 是一种分类与回归方法,属于监督学习一种。确定了KNN三要素,待预测点的分类也唯一确定。K-近邻模型基于对训练数据集特征空间的划分
优点:精度高、对异常值不敏感、无数据输入假定。
缺点:计算复杂度高、空间复杂度高。 适用数据范围:数值型和标称型。
(1)KNN三个基本要素
-
K值
K较大,会减少估计误差,增大近似误差,模型简单,近似误差越小,训练误差越小。
K较小,会增大近似误差,减少估计误差,估计误差越小,测试误差越小。模型复杂,容易过拟合。
通常采用交叉验证方法来选取K值 -
分类决策规则
通常用少数服从多数方法来决定待预测的类别,即给定K值和距离度量方式后,选取区域内离待分类点最近的K个目标,这些选定目标中类别出现最多的为待预测点的类别。分类决策规则对应于经验风险最小化。 -
距离度量方式选择
通常有两种,欧几里得距离,曼哈顿距离,注意,不同距离度量方式选取的近邻点不同
(2)KD树
k近邻法最简单的实现方法是线性扫描(linear scan),这时要计算输入实例与每一个训练实例的距离,当训练集很大时,计算非常耗时。为