KNN(K-NearestNeighbor)算法

KNN是最简单的分类算法之一。通过测量不同特征值之间的距离进行分类。它的的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。其算法的描述为：
1. 计算测试数据与各个训练数据之间的距离；

1. 按照距离的递增关系进行排序；

2. 选取距离最小的K个点；

3. 确定前K个点所在类别的出现频率；

4. 返回前K个点中出现频率最高的类别作为测试数据的预测分类。

算法的改进为：

1，通过不同的距离来度量

欧式距离：

$$d(x, y)=\sqrt {\sum_{k=1}^n(x_k-y_k)^2}$$

曼哈顿距离：

$$d(x,y)=\sqrt{\sum_{k=1}^n|x_k-y_k|}$$

2, 给不同的样本赋予不同权重，和该样本距离小的邻居权值大，距离大的权值小

3， 由于不同分类的文件本身有数量上有差异，因此也应该依照训练集合中各种分类的文件数量，选取不同数目的最近邻居，来参与分类。