学习笔记|模式识别|KNN分类与matlab实现

一、KNN介绍

K-近邻分类器（KNN）是一种在线分类器，也就是说在分类的时候直接从训练样本中找出与待分类样本最接近的K个样本，以判断待分类样本的类别。初学者容易把KNN和Kmeans搞混，KNN是一种最简单的有监督分类方法，而Kmeans是一种无监督的聚类方法，Kmeans不直接得到样本的类别，而是根据样本本身特性将他们分别聚成几个簇。

KNN的思想：首先，计算新样本与训练样本之间的距离，找到距离最近的K个近邻，统计这K个近邻中个数最多的类别，然后把新样本归为该类别，通常K是不大于20的整数。经验上，通常取，N为训练样本的数目，有时候为了简单可以取10为默认值。

KNN是基于一个假设而建立的，即近邻的对象具有类似的预测值。如何判断两个对象是否近邻，可以通过距离函数和K值确定。通常使用最多的距离函数是欧氏距离，计算新样本与每个训练样本之间的欧氏距离，然后根据距离大小进行排序，取出K个最近的样本作为最近邻样本。K值的选取是根据每类样本中的数目和分散程度进行的，对不同的应用可以选取不同的K值。

KNN的优点：

（1）简单，分类效果好，应用广

（2）在样本比较少，且对分类速度没有太高要求时，KNN比较好用