机器学习实战 第二章2.1 k-近邻算法

k-近邻算法（kNN）：

工作原理：

 存在训练样本集，并且样本集中每个数据都存在标签，输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似（最近邻）的分类标签。
 一般来说只选择前k个最相似的数据，k是通常不大于20的整数。

伪代码:

1. 计算已知类别数据集中的点与当前点之间的距离
2. 按照距离递增次序排序
3. 选取与当前点距离最小的k个点
4. 确定前k个点所在类别的出现频率
5. 返回前k个点出现频率最高的类别作为当前点的预测分类

k-邻近算法【python charm实现】

import numpy as np
import operator

#创造数据集和标签
def createDataSet():
    group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B'] 
    return group,labels

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0] #查看第一维的维数，这里为4
    diffMat = np.tile(inX, (dataSetSize,1)) - dataSet #求差，把inX数组重复4次变成[0,0],[0,0],[0,0],[0,0]与dataSet相减
    sqDiffMat = diffMat**2 #平方
    aqDistance = sqDiffMat.sum(axis=1) #按行相加
    distance = aqDistance**0.5 #计算欧式距离
    sortedDistIndicies = distance.argsort()#将distance中的元素从小到大排列，提取其对应的index(索引)，然后输出到sortedDistIndicies
    classCount ={}#字典
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]] 
        #存入当前label以及对应的类别值，d.get(k, v)意思是如果k在d中，则返回d[k]，否则返回v
        classCount[voteIlabel] = classCount.get(voteIlabel,0)
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)   
    #对类别字典进行逆排序，级别数目多的往前放，operator.itemgetter(1)代表和元素的第一个域进行比较
    return sortedClassCount[0][0]#返回发生频率最高的元素标签
group,labels = createDataSet()
print(classify0([0,0],group,labels,3))

label包含每个数据点的标签信息，label包含的元素个数等于Group矩阵行数。

inX用于分类的输入向量
dataSet输入的训练样本集
labels是标签向量
k表示选择最近邻居的数目

tile(A，rep)
rep：A沿着各个维度重复的次数（由外至内）

Tile详细用法参考：

https://blog.csdn.net/cszhang570221322/article/details/85107935?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param

将classCount字典分解为元组列表，然后用item方法，按照第二个元素的次序对元组进行排序，此处的排序为逆序。

与书上代码不同处：
1.classCount.iteritems()改为classCount.item()
2.print(classify0([0,0],group,labels,3))输出B
3.diffMat = tile(inX, (dataSetSize,1)) - dataSet改为diffMat = np.tile(inX, (dataSetSize,1)) - dataSet 调用numpy