K-近邻算法

K-近邻算法（KNN）概念

如果一个样本在特征空间中的k哥最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。

距离

1. 欧氏距离 就是中学学的勾三股四的距离

KNN算法流程总结

1. 计算已知类别数据集中的点与当前点之间的距离
2. 按照距离递增次序排序
3. 选取当前点距离最小的k个点
4. 统计前k个点所在的类别出现的屏频率
5. 返回前k个点出现频率最高的类别作为当前点的预测分类

API的初步使用

from sklearn.neighbors import KNeighborsClassifier

if __name__ == '__main__':
    # 构造数据
    x = [[1], [2], [10], [20]]
    y = [0, 0, 1, 1, ]
    # 训练模型
    # 实例化一个估计器对象  n_neighbors 表示从几个邻居来看
    estimator = KNeighborsClassifier(n_neighbors=1)
    # 调用fit方法进行训练
    fit = estimator.fit(x, y)
    # 模型训练
    rit = estimator.predict([[0]])
    print(rit)

kd树。提高knn搜索的效率

什么是kd树

根据knn 每次预测一个点时，我们都需要计算训练集里每个点到这个点的距离，然后选出距离最近的k个点进行投票，当数据集很大时，这个计算的成本较高
kd树： 为了避免每次都重新计算一遍距离，算法会把距离信息保存在一棵树里，这样在计算之前从树里查询距离信息，尽量避免重新计算。其基本原理是 如果a和b距离很远，bc距离很近，那么ac距离也很远，有了这个信息就可以在合适的时候跳过距离远的点