机器学习之KNN

一、KNN原理

KNN是机器学习中比较简单的，简单来说就是找到与目标邻近的K个实例，然后分别计算某一分类所占比例，最后找到比例最大的那个类别作为目标分类类别，就与中国的一句古语比较类似：近朱者赤，近墨者黑

二、Python实现过程

因为它的原理比较简单就不过多赘述，因此这里直接讲解如何通过代码进行简单的实现，这里提供两种方法，一种是根据原理直接进行编程实现，另外一种是利用sklearn库实现

实例背景：有三个指标 每年步行公里数， 玩游戏所占时间比例，每周吃甜食数量，用这三个指标判断对一个人的喜欢程度

第一种：

1、对训练数据集进行处理，用矩阵来存储训练数据

原始数据如下：

处理过程如下：def file2matrix(filename):
#打开文件
fr = open(filename)
#读取文件所有内容
arrayOLines = fr.readlines()
#print(arrayOLines)
#得到文件行数
numberOfLines = len(arrayOLines)
#返回的NumPy矩阵,解析完成的数据:numberOfLines行,3列
returnMat = np.zeros((numberOfLines,3))
#返回的分类标签向量
classLabelVector = []
#行的索引值
index = 0
for line in arrayOLines:
#s.strip(rm)，当rm空时,默认删除空白符(包括'\n','\r','\t',' ')
line = line.strip()

#使用s.split(str="",num=string,cout(str))将字符串根据'\t'分隔符进行切片。
listFromLine = line.split('\t')
#print(listFromLine)
#将数据前三列提取出来,存放到returnMat的NumPy矩阵中,也就是特征矩阵
returnMat[index,:] = listFromLine[0:3]
print(listFromLine[-1])
#根据文本中标记的喜欢的程度进行分类,1代表不喜欢,2代表魅力一般,3代表极具魅力
if listFromLine[-1] == 'didntLike':
classLabelVector.append(1)
elif listFromLine[-1] == 'smallDoses':
classLabelVector.append(2)
elif listFromLine[-1] == 'largeDoses':
classLabelVector.append(3)
index += 1

return returnMat, classLabelVector

2、分类过程

首先计算目标点到实例点之间的距离，这里计算距离的方法有多种，一般用欧式距离

然后对距离进行排序，选择距离最近的前k个

最后，对前k个数据，计算每一类别所占的比例，选择最大的那个就是我们的分类结果

上代码：

def classify0(inX, dataSet, labels, k):
#numpy函数shape[0]返回dataSet的行数
dataSetSize = dataSet.shape[0]
#在列向量方向上重复inX共1次(横向),行向量方向上重复inX共dataSetSize次(纵向)
diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
#二维特征相减后平方
sqDiffMat = diffMat**2
#sum()所有元素相加,sum(0)列相加,sum(1)行相加
sqDistances = sqDiffMat.sum(axis=1)
#开方,计算出距离
distances = sqDistances**0.5
#返回distances中元素从小到大排序后的索引值
sortedDistIndices = distances.argsort()
#定一个记录类别次数的字典
classCount = {}
for i in range(k):
#取出前k个元素的类别
voteIlabel = labels[sortedDistIndices[i]]
#dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
#计算类别次数
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
#python3中用items()替换python2中的iteritems()
#key=operator.itemgetter(1)根据字典的值进行排序
#key=operator.itemgetter(0)根据字典的键进行排序
#reverse降序排序字典
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
print(sortedClassCount)
#返回次数最多的类别,即所要分类的类别

return sortedClassCount[0][0]

在分类之前我们需要对数据进行归一化处理，因为实际数据是比较大的，如果直接采用原数据就是使得数据值大的占的权重大，这样会影响分类结果，因此将数据范围归到0至1之间再做后续分类

第二种：sklearn

加入from sklearn.neighbors import KNeighborsClassifier as kNN

关键代码

neigh=kNN(n_neighbors=3,algorithm='auto')

neigh.fit(normMat[numTestVecs:m,:],classLabelVector[numTestVecs:m])
print(normMat[i,:])
vectorUnderTest =img2vector(normMat[i,:])
print(vectorUnderTest)

classifierResult=neigh.predict(vectorUnderTest)

这里解释一下，normMat[numTestVecs:m,:]为训练数据特征，classLabelVector[numTestVecs:m]为训练数据特征值对应的分类，函数img2vector（）为对矩阵做向量处理

这样对比一看，是不是感觉sklearn很强大？就那么几行代码就解决了，虽然它很好用，但是原理我们得搞清楚了，遇到具体问题才能根据需求去解决呢

输出结果如图：