最近邻分类器

应用背景：在前面一些图像处理相关的文章中，已经说到图像的特征提取，在选择好一些主要特征之后，那么我们用这些特征做什么用呢，我们的主要目的是利用这些特征对图像进行分类。接下来的问题是怎么分类，这里介绍最近邻分类，它是一种最简单的分类方法。
基本思想：最近邻分类，顾名思义，距邻居最近，则与邻居同类。也就是说，一个待分类的单个样本A，放入已分好类的多个样本群Q中，从Q中选择k个A的邻居，通过计算A与邻居之间的某种关系后得出A与这k个邻居最相似，那么就把A分为这k个邻居中出现次数最多的类，因此最近邻分类也称k最近邻分类（k nearest neighbor, KNN）。这种分类方法基本分类3步：1、找待分类样本与已分类样本之间的关系，这里指计算它们之间的距离；2、找距离最近的k个已分类的样本；3、分类，从这k个样本中找出出现次数最多的类，那么待分类样本属于该类。
数学原理：在特征空间中，把每个类的所有样本的平均值表示为该类，则第i类样本的均值为：
（1）
其中，Ni为第i类样本的样本数目，Wi为第i类样本集合，W为总类别数目。
样本之间的距离取欧氏距离，当对一个未知模式 x 进行分类时，需要分别计算 x 与各个类的欧氏距离，如下式所示
（2）
其中，|| x-mi ||=((x-mi)^T(x-mi))^1/2，表示欧几里得范数，即向量的模。
转自：http://blog.csdn.net/yi_tech_blog/article/details/70184931