机器学习——KNN

KNN算法需要解决的问题

1. KNN思想
2. KNN执行过程
3. KNN伪代码
4. KNN缺陷
5. KDTree构建过程
6. KDTree是如何解决KNN的缺陷的？除了KDTree之外，还有没有其他方式来解决该问题？KDTree除了可以用于解决KNN的问题外，KDTree还可以应用到哪些场景？

1. KNN思想

一个样本与数据集中的k个样本相比较，如果这k个样本中的大多数属于某一个类别，则该样本也属于这个类别；也就是多数投票法。

2. KNN执行过程

1、获取待测样本和所有样本的距离（相似度），一般使用欧式距离

2、获取距离最近的k个样本

3、将k个样本出现类别最多的作为当前预测值；分类中一般采用多数投票的方式（还有加权多数表决法），回归中一般采用均值的方式（对于回归问题:输出为实例的值。回归时，对于新的实例，取其k个最近邻的训练实例的平均值为预测值。）

3. KNN伪代码

1、构建一个已经分类好的数据集

2、计算新样本与数据集中所有数据的距离

3、按照距离大小进行排序

4、选取距离最小的k个样本

5、确定前k个样本所在类别出现的频率，并输出出现频率最高的类别

4. KNN缺陷

1、k值的选取，k值选取过小易过拟合（