机器学习算法之--KNN总结

一、数学原理

KNN 是一种分类与回归方法，属于监督学习一种。确定了KNN三要素，待预测点的分类也唯一确定。K-近邻模型基于对训练数据集特征空间的划分

优点：精度高、对异常值不敏感、无数据输入假定。
缺点：计算复杂度高、空间复杂度高。 适用数据范围：数值型和标称型。

（1）KNN三个基本要素

• K值
  K较大，会减少估计误差，增大近似误差，模型简单，近似误差越小，训练误差越小。
  K较小，会增大近似误差，减少估计误差，估计误差越小，测试误差越小。模型复杂，容易过拟合。
  通常采用交叉验证方法来选取K值

• 分类决策规则
  通常用少数服从多数方法来决定待预测的类别，即给定K值和距离度量方式后，选取区域内离待分类点最近的K个目标，这些选定目标中类别出现最多的为待预测点的类别。分类决策规则对应于经验风险最小化。

• 距离度量方式选择
  通常有两种，欧几里得距离，曼哈顿距离，注意，不同距离度量方式选取的近邻点不同
  
  （2）KD树
  k近邻法最简单的实现方法是线性扫描（linear scan），这时要计算输入实例与每一个训练实例的距离，当训练集很大时，计算非常耗时。为