分类模型 第3篇：knn分类

K最邻近(k-Nearest Neighbors，KNN)分类是一种监督式的分类方法，首先根据已标记的数据对模型进行训练，然后根据模型对新的数据点进行预测，预测新数据点的标签(label)，也就是该数据所属的分类。

一，knn算法的逻辑

knn算法的核心思想是：如果一个数据在特征空间中最相邻的k个数据中的大多数属于某一个类别，则该样本也属于这个类别(类似投票)，并具有这个类别上样本的特性。通俗地说，对于给定的测试样本和基于某种度量距离的方式，通过最靠近的k个训练样本来预测当前样本的分类结果。例如，借用百度的一张图来说明knn算法过程，要预测图中Xu的分类结果，先预设一个距离值，只考虑以Xu为圆心以这个距离值为半径的圆内的已知训练样本，然后根据这些样本的投票结果来预测Xu属于w1类别，投票结果是4：1。

knn算法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。knn算法在类别决策时，只与极少量的相邻样本有关。由于knn算法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，knn方法较其他方法更为适合。

1，knn算法的计算步骤

knn算法就是根据距离待分类样本A最近的k个样本数据的分类来预测A可能属于的类别，基本的计算步骤如下：

• 对数据进行标准化，通常是进行归一化，避免量纲对计算距离的影响；
• 计算待分类数据与训练集中每一个样本之间的距离；
• 找出与待分类样本距离最近的k个样本；
• 观测这k个样本的分类情况；
• 把出现次数最多的类别作为待分类数据的类别。

knn算法的计算步骤很简单，在使用knn算法时，必须确定两个问题，第一个问题是如何计算距离，第二个问题是确定k的值。

2，knn算法如何计算距离？

在计算距离之前，需要对每个数值属性进行规范化，这有助于避免较大初始值域的属性比具有较小初始值域的属性的权重过大。

• 对于数值属性，knn算法使用距离公式来计算任意两个样本数据之间的距离。
• 对于标称属性(如类别)，knn算法使用比较法，当两个样本数据相等时，距离为0；当两个样本数据不等时，距离是1。
• 对于缺失值，通常取最大的差值，假设每个属性都已经映射到[0,1]区间，对于标称属性，设置差值为1；对于数值属性，如果两个元组都缺失值，那么设置差值为1；如果只有一个值缺失，另一个规范化的值是v，则取差值为 1-v 和 v 的较大者。

3，knn算法如何确定k的值？

k的最优值，需要通过实验来确定。从k&#