k最近邻分类;matlab_k-NN 总结和实现（sklearn）

Email：gong5264@mail.ustc.edu.cn

原创内容，转载请标明

本人水平有限，如有错误还请批评指正

微博：帅帅家的人工智障

参考的文献在最后。

---

目录：

一：K近邻算法

二：算法实现

三：其他

四：参考文献

声明： 表示换行

---

一：k近邻算法

这里主要参考李航的《统计学习》

1 . k近邻算法（kNN）是一种基本分类与回归算法。

2 . k近邻算法：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。没有显示的学习过程.

---

3 .k近邻法的模型对应特征空间的一个划分:

---

4 .三个基本要素：k值的选择、距离度量、分类决策规则

(1)距离度量：

设特征空间

是n维实数向量空间

，

，

的

距离:

其中，

。当p=2时，称为欧氏距离，即 :

当p=1时，称为曼哈顿距离，即 :

当

时，是各个坐标距离的最大值，即:

(2)k值的选择：

k值的减小意味着整体模型变得复杂，容易发生过拟合

k值的增大意味着整体模型变得简单

在应用中，k值一般取较小的数，一般通过交叉验证选取最优k值

(3)分类决策规则：

往往通过多数表决，等价于经验风险最小化

---

4 . k近邻算法的实现需要考虑如何快速搜索k个最近邻点：

(1)暴力计算：数据量较少时，数据集中所有成对点之间距离的暴力计算。

(2)K-D树：解决效率低下的暴力计算，利用