使用k-近邻算法改进约会网站的配对效果

k-近邻（kNN），按我的理解就是无需进行数据训练，在样本测试的时候，由样本与k个训练值（邻居）的距离（本次使用欧式距离公式）来进行分类。
本次将kNN作为第一种入门的算法进行学习并写下日志。
缺点：对于维度很高的情况下可能会导致崩溃。（可以通过降温解决）

数据来自《Machine Learning in Action》
样本包含三种特征：
1.每年获得的飞行常客里程数
2.玩视频游戏所消耗时间百分比
3.每周消费的冰淇淋公升数

第一部分：收集数据、准备数据、分析数据
首先将相关库与运算模块导入，并创建‘文件导入’函数，并将其存在文件kNN_1中，方便后续调用：
`from numpy import *
import operator
from os import listdir
def file2matrix(filename):
fr=open(filename)
arrayOLines=fr.readlines()
numberOFLines=len(arrayOLines) #得到文件行数

returnMat=zeros((numberOFLines,3)) #创建零填充矩阵，并另一维度设为3
classLabelVector=[]
index=0
for line in arrayOLines: #循环处理文件每一行的数据
    line=line.strip() #将文件中的回车字符截取掉
    listFromLine=line.split('\t') #用\t字符将上一步得到的整行数据分割成元素列表
    returnMat[index,:]=listFromLine[0:3] #取前3个元素存储倒特征矩阵中。
    classLabelVector.append(int(listFromLine[-1])) #将最后一列元素存到到变量中
    index+=1
return returnMat,classLabelVector`

接着创建文件kNN_2（ps：这里的kNN_2充当notebook的功能），引入kNN_1的函数，并导入约会数据文本‘datingTestSet2.txt’：

`import kNN_1

datingDataMat,datingLables=file2matrix(‘datingTestSet2.txt’)`

文本被导入到上面的‘文件导入’函数后会被处理成3维的数据矩阵，并进行了数据的分类（1，2，3）三类：


为了直观的看到样本在此处的分类情况（对数据进行观测，对结果不造成影响），引入matplotlib函数来进行散点图绘制：

import matplotlib
import matplotlib.pyplot as plt
fig=plt.figure()
ax=fig.add_subplot(111)
#ax.scatter(datingDataMat[:,1],datingDataMat[:,2]) #使用datingDataMate矩阵中的第二、第三列数据
ax.scatter(datingDataMat[:,1],datingDataMat[:,2],15.0*array(datingLables),15.0*array(datingLables))
plt.show()

得到

若改为datingDataMate矩阵中的第一、第二列数据，即每年获得的飞行常客里程数
与玩视频游戏所消耗时间百分比的约会数据，获得的散点图如下：

同理，取第一、第三种属性则散点图为：

实际上这里是立体分布，只不过是我们只能选择其中2个维度去观察数据的分类情况。

第二部分：添加算法并测试算法
在第一部分的kNN_1文件中，添加kNN的算法函数：

def classfy(X,DataSet,Labels,k): #计算距离
    size=DataSet.shape[0]
    diffMat=tile(X,(size,1))-DataSet
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)
    distances=sqDistances**0.5 
    sortedIndex=distances.argsort()
    classCount={}
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
    sortClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    return sortClassCount[0][0]   

为了减小变量种类间数值相差太大带来的误差（数值大对计算结果影响较大），还需引入归一化函数：

def autoNorm(dataSet):
    minVals=dataSet.min(0)
    maxVals=dataSet.max(0)
    ranges=maxVals-minVals
    m=dataSet.shape[0]
    normDataSet=dataSet-tile(minVals,(m,1))
    normDataSet=normDataSet/tile(ranges,(m,1))
    return normDataSet,minVals,ranges

最后导入文本进行测试：在kNN_1中导入测试函数，并在kNN_2中执行它

def datingClassTest():
    hoRatio=0.1
    datingDataMat,datingLabels=file2matrix('datingTestSet2.txt')
    normMat,minVals,ranges=autoNorm(datingDataMat)
    m=normMat.shape[0]
    errorCount=0.0
    numTestVecs=int(m*hoRatio)
    for i in range(numTestVecs):
        classifierResult=classfy0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
        if (classifierResult!=datingLabels[i]): 
            errorCount+=1.0
            x=errorCount/float(numTestVecs)
    print( "the total error rate is : ",x)

 kNN_1.datingClassTest()

得到了最终的结果：

由于没有额外的测试数据集，使用创建特征值的数据文本进行测试，准确率为95%