KNN算法的最简解释

KNN是属于监督学习中的一类分类方法，KNN即k最邻近分类算法
1、KNN算法的核心思路
通过计算每个训练样本到待分类样本的距离【1】，取和待分类样本最近的k个训练样例【2】，k个样本中哪个类别的训练样例站多数，则待分类样品就属于哪个类别。
【1】这里的距离有很多中，例如有曼哈顿距离（p=1），欧式距离（p=2）等，大家可以去查一下各种距离的应用场景有何不同；
【2】这里取的最近的k个训练样例便是，KNN算法的精髓了，因为通过选取不同的k值会有不同的结果。

2、算法描述与具体步骤
（1）算距离
（2）对距离排序，并圈出最近的k个训练对象
（3）做分类
具体步骤：
step.1—初始化距离为最大值
step.2—计算未知样本和每个训练样本的距离 dist
step.3—得到目前K个最临近样本中的最大距离 maxdist
step.4—如果dist 小于 maxdist，则将该训练样本作为 K-最近邻样
step.5—重复步骤2、3、4，直到未知样本和所有训练样本的距离
step.6—统计K-最近邻样本中每个类标号出现的次数
step.7—选择出现频率最大的类标号作为未知样本的类标号
3、KNN模型中三个基本要素
三个基本要素：距离度量、k值的选择和分类决策的规程
4、算法的优缺点
1) 优点
 简单，易于理解，易于实现，无需估计参数，无需训练；
 适合样本容量比较大的分类问题
 特别适合于多分类问题(multi-modal,对象具有多个类别标签)，例如根据基因特征来判断其功能
分类，kNN比SVM 的表现要好
2) 缺点
 懒惰算法，对测试样本分类时的计算量大，内存开销大，评分慢；
 可解释性较差，无法给出决策树那样的规则

5、实例—–对电影类型进行分类

import numpy as np   
from sklearn import neighbors   
knn = neighbors.KNeighborsClassifier() #取得knn分类器   
data = np.array([[3,104],[2,100],[1,81],[101,10],[99,5],[98,2]]) # <span style="font-family:Arial, Helvetica, sans-serif;">data 对应着
打斗次数和接吻次数<`这里写代码片`/span>   
labels = np.array([1,1,1,2,2,2]) #<span style="font-family:Arial, Helvetica, sans-serif;">labels则是对应Romance 和Action</span>   
knn.fit(data,labels) #导入数据进行训练'''