k近邻法(KNN)是一种基本分类与回归方法。k近邻法的输入为实例的特征向量,对应于特征空间的点,输出为实例的类别,可以多类。
简析:对输入的一个实例,取其最近邻的k个点组成集合,集合中的多数属于哪个类,则这个实例就属于哪类。
k近邻模型的三个基本要素:距离度量,K值选择,分类决策规则。
1)距离度量:
p值不同(即距离度量方式不同),确定的最近邻点是不同的。
2)k值选择:
3)分类决策---多数表决;
输入实例的k个近邻实例中多数类决定输入实例的类