机器学习-K近邻算法

工作原理：存在一个训练样本数据集合，每组数据对应一个标签及分类（比如下边例子为前两个数据都为A类），输入测试样本后通过计算求出测试样本与训练样本的欧氏距离d，取前k个最小的值，这k组数据对应的标签分类最多的那种，就是测试样本的标签。

训练样本数据：

[[1.0, 1.1],
 [1.0, 1.0], 
 [0, 0], 
 [0, 0.1]]

欧氏距离公式：

from numpy import *  # 导入科学计算包
import operator  # 导入运算符模块


def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels


def classfy0(inX, dataSet, labels, k):  # 参数分别为测试样本，训练样本，训练样本标签，近邻个数
    dataSetSize = dataSet.shape[0]  # 返回行列数，0为行，列为1
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet  # tile是按照某个方向复制元素，行方向复制四行，列方向复制一行，然后减去每个训练样本值
    sqDiffMat = diffMat ** 2  # 乘方运算
    sqDistances = sqDiffMat.sum(axis=1)  # 轴为1的方向（横向）求和
    distances = sqDistances ** 0.5  # 乘方运算，等同于开根号
    sortedDistIndicies = distances.argsort()  # 返回从小到大排序的索引值（原数组不动）
    classCount = {}  # 字典（键值对）
    for i in range(k):  # for-each循环，统计前k个每个分类有多少个
        voteIlabel = labels[sortedDistIndicies[i]]  # 记录每个的标签
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1  # 取出该标签的值+1（原先没有默认为0）
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1),
                              reverse=True)  # operator.itemgetter(1)表示用键值对中的值排序，为0表示用键排序，一开始升序，reverse=True后降序
    return sortedClassCount[0][0]  # 返回第一个标签


if __name__ == '__main__':  # 表示我在当前页面调用测试语句，别的页面引用该页面时执行不了if里边的内容
    group, labels = createDataSet()
    test = [0, 0]  # 测试数据
    test_class = classfy0(test, group, labels, 3)
    print(test_class)