k最近邻分类器将实例指派到被最多近邻代表的类。它基于这样的想法:实例越类似,它们越可能属于同一类。只要有一个合理的相似性或距离度量,就可以对非类使用相同的方法。
大多数分类算法可以改写为基于距离的分类。例如,在最近均值分类器中(nearest mean classification),选择 Ci C i ,如果
D(x,mi)=minj=1KD(x,mj) D ( x , m i ) = min j = 1 K D ( x , m j )
在高斯超球的情况下,维是独立的且具有相同的尺度,距离度量是欧氏距离:
D(x,mi)=||x−mi||2 D ( x , m i ) = | | x − m i | | 2
否则它是马氏距离:
D(x,mi)=(x−mi)TS−1i(x−mi) D ( x , m i ) = ( x − m i ) T S i − 1 ( x − m i )
其中 Si S i 是 Ci C i 的协方差矩阵。
在半参数方法中,每一个类都表示高斯混合。可以粗略地说,如果在所有类的簇中心中,属于