K-近邻算法

简介：

K Nearest Neighbor算法又叫KNN算法，这个算法是机器学习里面一个比较经典的算法， 总体来说KNN算法是相对比较容易理解的算法

算法思想：

根据你的“邻居”来推断出你的类别 ，即如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

• 距离公式：两个样本的距离可以通过如下公式计算，又叫欧式距离
  

算法案例：电影类型预测

K=5意思是去距离值最近的五部进行类型占比，其中喜剧片3部占的最多，故分类为喜剧片.
.

KNN算法总结：

1）计算已知类别数据集中的点与当前点之间的距离

2）按距离递增次序排序

3）选取与当前点距离最小的k个点

4）统计前k个点所在的类别出现的频率

5）返回前k个点出现频率最高的类别作为当前点的预测分类

API

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

    n_neighbors：
        int,可选（默认= 5），k_neighbors查询默认使用的邻居数
    algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}
        快速k近邻搜索算法，默认参数为auto，可以理解为算法自己决定合适的搜索算法。除此之外，用户也可以自己指定搜索算法ball_tree、kd_tree、brute方法进行搜索，
            brute是蛮力搜索，也就是线性扫描，当训练集很大时，计算非常耗时。
            kd_tree，构造kd树存储数据以便对其进行快速检索的树形数据结构，kd树也就是数据结构中的二叉树。以中值切分构造的树，每个结点是一个超矩形，在维数小于20时效率高。
            ball tree是为了克服kd树高维失效而发明的，其构造过程是以质心C和半径r分割样本空间，每个节点是一个超球体。