监督学习_最近邻算法(KNN, k-近邻算法)

在模式识别领域中，最近邻居法（KNN算法，又译K-近邻算法）是将在特征空间中最接近的训练样本进行分类的方法。

最近邻居法采用向量空间模型来分类，概念为相同类别的案例，彼此的相似度高，而可以借由计算与已知类别案例之相似度，来评估未知类别案例可能的分类。

                                                                                                                                                                         摘自：维基百科

      

        举个例子，手写数字识别，假设0-9的数字可以用特征向量(a,b,c,...)表示，那么现在有一个数字X，它的特征向量可以表示为(x,y,z,...)，那么可以用特征向量之间的距离（欧氏距离）来表示它们的相似度，即d=sqrt( (x-a)^2+(y-b)^2+(z-c)^2+... )，d越小则表示X与哪个数字的的距离越近，即X是该数字的可能性越大! 在这里(a,b,c,...)可以被看作是训练集（有很多个训练集，比如10000个，0－9分别各有1000个&