python 实现KNN算法

KNN算法原理

K最近邻(KNN,K-nearestNeighbor)分类算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本属于也属于这个类别，并具有这个类别样本上的特性。
即选取k个离测试点最近的样本点，输出在这k个样本点中数量最多的标签。所以要实现kNN算法，我们只需要计算出每一个样本点与测试点的距离(欧式距离)，选取距离最近的k个样本，获取他们的标签，然后找出k个样本中数量最多的标签，返回该标签。
欧式距离：m维空间的距离公式，d2 = (x1 - y1)2 + (x2 - y2)2  + ... + (xm - ym)2

步骤

1、数据预处理，将数据处理成相应的范式，如：数据标准化、数据存储格式转换等；
2、对某一个需分类的样本数据计算其与特征样本中的各个类别的距离，如：欧式距离；
3、将距离从小到大进行排序，选择前K个最近的类别；
4、对K个类别按所属类别进行计数，个数最多的类别即为当前样本所属类别；
5.对其他需要分类的数据重复2~4的步骤

python简单实现KNN算法

# -*- coding:utf-8 -*-
import pandas as pd
import numpy as np
import operator as opt

#考虑到不同特征值范围差别很大的影响，可对这类数据进行最大最小值标准化数据集
def normData(dataset):
    maxVals = dataset.max(axis=0) #求列的最大值
    minVals = dataset.min(axis=0) #求列的最小值
    ranges = maxVals - minVals
    retData = (dataset - minVals) / ranges
    return retData, minVals, ranges

#KNN,欧式距离
def kNN(dataset, labels, testdata, k):
    distSquareMat = (dataset - testdata) ** 2 #计算差值的平方
    distSquareSums = distSquareMat.sum(axis=1) #求每一行的差值平方和
    distances = distSquareSums ** 0.5 #开根号，得出每个样本到测试点的距离
    sortedIndices = distances.argsort()  #array.argsort(),默认axis=0从小到大排序，得到排序后的下标位置
    indices = sortedIndices[:k] #取距离最小的k个值对应的小标位置
    labelCount = {} #存储每个label的出现次数
    for i in indices:
        label = labels[i]
        labelCount[label] = labelCount.get(label, 0) + 1 #次数加1,dict.get(k, val)获取字典中k对应的值,没有k,则返回val

    sortedCount = sorted(labelCount.items(), key=opt.itemgetter(1), reverse=True) #operator.itemgetter(),结合sorted使用,可按不同的区域进行排序
    return sortedCount[0][0] #返回最多的一个label

#主函数
if __name__ == "__main__":
    dataSet = np.array([[2, 3], [6, 8]])
    normDataSet, ranges, minVals = normData(dataSet)
    labels = ['a', 'b']
    testData = np.array([[3.9, 5.5], [9, 10]])
    for i in range(len(testData)):
        normTestData = (testData[i] - minVals) / ranges
        result = kNN(normDataSet, labels, normTestData, 1)
        print(result)