K-近邻算法的Python实现（一）

1.Python的语言环境和参考的书籍
下面给出的代码是基于Python2.7.9编写的（编译器推荐使用pycharm），Python到了3.0以后的版本语言有所改变，但是大体上没有太大的变化。我所给出的代码是引用《机器学习实战》中的代码，带对于一些书中代码没有标注的地方进行详细的标注。
2.使用Python实现算法
打开Python编译器 ，创建KNN.py文件。在文件的开头写入#coding= utf-8 -2- （Python不支持中文释义，加入这个可以解决这个问题）。
2.1使用Python导入数据

#coding= utf-8 -2-
from numpy import *  #numpy是科学计算包
import operator   #运算符模块
def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group , labels

创建一个Python测试文件knn1.py，将该文件放入和KNN.py相同的目录中，写入如下代码

#coding= utf-8 -2-
import KNN   #调用KNN模块
group , labels = KNN.createDataSet()
print group ,labels

输出结果：
[[ 1. 1.1]
[ 1. 1. ]
[ 0. 0. ]
[ 0. 0.1]] [‘A’, ‘A’, ‘B’, ‘B’]
这里的group只是简单的创建了4个数据，每行为不同的数据组，每个数组可以看做坐标轴上的x，y的值。labels为每组数据代表的类，即如【1.0 , 1.1】为A类。
2.2编写k近邻算法
k近邻算法的实现思想为1.计算测试数据和已知类型的数据集中的数据的距离（这里可以看出k近邻在测试大量数据时计算量是很大的）；2.按照计算得到的每个已知数据和测试数据的距离从小到大排序；3.按照排序选取距离最小的k的数据，并计算这k个数据中每个类型出现的频率；4.频率最大的类型即为测试数据的类型。用欧式距离公式计算距离，在前面创建好的KNN.py中写入代码：

'''定义的k—近邻算法代码，使用欧式距离公式计算样本点之间的距离'''
def classify0(inX,dataSet,labels,k):  # inx为需要测试的数据，dataset为训练样本集，labels为标签，k为最近邻的数目
    dataSetSize = dataSet.shape[0]  #读取矩阵dataSet一维长度
    diffMat = tile(inX,(dataSetSize,1)) - dataSet #此处及以下为计算样本之间的距离
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):     #此处及以下为选取样本间距离最小的k个点
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.iteritems(),
                              key=operator.itemgetter(1),reverse=True)  #对k个点进行逆排序，返回频率最高的点
    return sortedClassCount[0][0]

2.3使用K近邻算法
在上面knn1.py中写入代码并运行：

print KNN.classify0([0,0],group,labels,3)

结果为B。
3.我的K近邻的详细代码：
链接：http://pan.baidu.com/s/1nvjuhO9 密码：271o