K-NN学习与理解

K邻近分类法（KNN）

在分类方法中，最简单且用的最多的一种方法之一就是KNN

• 把要分类的对象（例如一个特征向量）与训练集中已知类标记的所有对象进行对比
• 由k个邻近对指派到哪个类进行投票

• 弊端如下

  1. 需要预先设定K值，K值得选择会影响分类的性能.
  2. 需要将整个训练集存储起来，如果训练集很大，搜索起来就很慢。

由此分析，我们需要一个函数计算一个向量到所有的样本集的距离，还需要一个由得到的距离来选出标签的投票函数，还需要一个计算两个向量长度的函数。我们可以写一个类，其下有这三种方法。

class KnnClassifier()
    def __init__()
    def classifier()
    def compute_dist()
    def votes()