统计学习方法-----k近邻法

     

    k近邻法（KNN）是一种基本分类与回归方法。k近邻法的输入为实例的特征向量，对应于特征空间的点，输出为实例的类别，可以多类。

       简析：对输入的一个实例，取其最近邻的k个点组成集合，集合中的多数属于哪个类，则这个实例就属于哪类。

       k近邻模型的三个基本要素：距离度量，K值选择，分类决策规则。

1）距离度量：

           

         p值不同（即距离度量方式不同），确定的最近邻点是不同的。

                                          

2）k值选择：

               

3）分类决策---多数表决；

     输入实例的k个近邻实例中多数类决定输入实例的类