最近邻分类器（KNN）

一、概念&意义

找出和测试样例属性相对接近的所有训练样例。

使用最近临确定类标号的合理性，用下面的 言语最能说明：

“如果走的像鸭子，叫的像鸭子，看起来还像鸭子，那么它很可能就是一只鸭子”。

二、计算步骤：

1、算距离：给定测试对象，计算它与训练集中每个对象的距离

2、找邻居：圈定距离最近的 k个对象，作为测试对象的近邻

3、做分类：根据这k个近邻归属的主要类别，来对测试对象分类

三、三个基本要素

I、距离度量

a)当p=2时，为欧式距离：

b)当p=1时，为曼哈顿距离：

II、K值的选择

K值越小，整体模型越复杂，容易发生过拟合

K值越大，整体模型越简单，近似误差会增大（误分类）

III、测试对象类别的判定

a)多数表决：

其中v是类标号，yi是一个最近邻的类标号，I(.)是指示函数，如果其参数为真，则返回1，否则，返回0

b)距离加权表决：