k-近邻

k-近邻

本文主要讲述K-近邻算法的原理，及其代码实现。结合数据集对K-近邻算法进行应用。

• K-近邻算法的原理
• 代码实现
• 应用
• 总结

---

1. K-近邻算法的原理

K-近邻（(k-nearest neighbor）算法是一种非监督式算法，用于对样本进行分类。分类的依据就是距离哪一类样本更近就分到哪一类，和我们成语中的“物以类聚，人以群分“表达的是相同的道理，又比如我们化学中的”相似相溶原理“。其中“K”表示我们选择的最近的样本的个数，k选择为奇数。

具体步骤：
1.获取样本。
2. 确定K值（3,5,7等奇数，具体是数据本身而定）。
3. 计算测试样本和与其他样本间的距离，确定最近的K个样本，在这k个样本中属于哪一类的最多，我们的测试样本就分到这一类。

2.具体代码实现

from numpy import *
import operater
'''构造数据集'''
def createDataSet():
    group=([[1.0,1.0],[1.1,1.0],[0,0],[0.1,0]]) 
    labels=['A','A','B','B']
    return group,labels
 '''K-nn'''
def classify0(inx,dataSet,labels,k):#定义分类函数，inx表示输入向量，dataSet表示数据集，labels表示标签，k，近邻个数
    dataSetSize=dataSet.shape[0]
    diffMat=tile(inx,(dataSetSize,1))-dataSet#tile表示复制重复原数组为几行几列
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)#统计每一行的和
    distances=sqDistances**0.5
    sortedDistIndicies=distances.argsort()#排序，返回索引
    classCount={}#z字典，用于记录标签“A，B”出现次数
    for i in range(k):#选出距离最小的三个样本
            voteIlabel=labels[sortedDistIndicies[i]]#找到最小的距离对应的样本的标签

        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1#统计最小距离的每个样本标签出现的次数，

    sortedClassCount=sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)#在字典中按照标签出现次数从大到小排序

    return sortedClassCount[0][0]#返回出现次数最多的样本的标签

group,labels=createDataSet()
print classify0([0.1,0.1],group,labels,3)#对未知样本进行预测

from sklearn import datasets
from sklearn import neighbors
KNN = neighbors.KNeighborsClassifier(n_neighbors = 3)
iris = datasets.load_iris()
print "The iris' target names: ",iris.target_names
print "The iris attribute names:",iris.get('feature_names')
x = iris.data
y = iris.target
KNN.fit(x,y)
irisname = {0: 'Iris-setosa', 1: 'Iris-versicolor', 2:'Iris-virginica'}
answer_knn = int(KNN.predict([[7.5,4,7,9]]))
print irisname[answer_knn]
print KNN.score(x,y)