用原生python实现kNN

一、题目分析
1.题目：原生python实现knn分类算法，用鸢尾花数据集。
2.K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 KNN方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。
该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

二、算法构造:
此算法主要由导入数据函数，距离函数，邻近函数、分类算法和准确度计算函数组成：

三、代码实现：

# -*- coding: utf-8 -*-
"""
Created on Tue Oct 15 13:38:04 2019

@author: T
"""

import csv     #用于处理csv文件  
import random    #用于随机数  
import math           
import operator   
#加载数据集  
def loadData(filename,split,trainingSet=[],testSet = []):  
    with open(filename,"r") as csvfile:  
        lines = csv.reader(csvfile)  
        dataset = list(lines)  
        for x in range(len(dataset)-1):  
           for y in range(4):
               dataset[x][y] = float(dataset[x][y])               
               if random.random()<split:   #随机对数据集进行分类
                   trainingSet.append(dataset[x])  
               else:  
                   testSet.append(dataset[x])  
  
#计算距离  
def Distance(instance1,instance2,length):  
    distance = 0  
    for x in range(length):  
        distance += pow((instance1[x]-instance2[x]),2)  
    return math.sqrt(distance)  
  
#返回K个最近邻  
def getNeighbors(trainingSet,testInstance,k):  
    distances = []  
    length = len(testInstance) -1  
    #计算每一个测试实例到训练集实例的距离  
    for x in range(len(trainingSet)):  
        dist = Distance(testInstance, trainingSet[x], length)  
        distances.append((trainingSet[x],dist))  
    #对所有的距离进行排序  
    distances.sort(key=operator.itemgetter(1))  #operator模块提供的itemgetter函数用于获取对象的哪些维的数据
    neighbors = []  
    #返回k个最近邻  
    for x in range(k):  
        neighbors.append(distances[x][0])  
    return neighbors  
  
#对k个近邻进行合并，返回value最大的key  
def getResponse(neighbors):  
    classVotes = {}  
    for x in range(len(neighbors)):  
        response = neighbors[x][-1]  
        if response in classVotes:  
            classVotes[response]+=1  
        else:  
            classVotes[response] = 1  
    #排序  
    sortedVotes = sorted(classVotes.items(),key = operator.itemgetter(1),reverse =True)  
    return sortedVotes[0][0]  
  
#计算准确率  
def getAccuracy(testSet,predictions):  
    correct = 0 #测试成功的数据个数 
    for x in range(len(testSet)):  #循环取出一个测试数据进行测试
        if testSet[x][-1] == predictions[x]:  
            correct+=1  #预测成功则计数值加一
    return (correct/float(len(testSet))) * 100.0 #计算准确率 
  
def main():  
    trainingSet = []  #训练数据集  
    testSet = []      #测试数据集  
    split = 0.67      #分割的比例  
    loadData(r"C:\Users\T\Desktop\17409060206 唐楚\iris0.csv", split, trainingSet, testSet)   #从文件中加载数据集
    print('Train:',repr(len(trainingSet)))
    print('Test:',repr(len(testSet)))                 
      
    predictions = []  
    k = 3  
    for x in range(len(testSet)):  
        neighbors = getNeighbors(trainingSet, testSet[x], k)  
        result = getResponse(neighbors)  
        predictions.append(result)  
        print('>预测=' ,repr(result),',实际=',repr(testSet[x][-1]))  
    accuracy = getAccuracy(testSet, predictions)  
    print('准确率:',repr(accuracy),'%')  
  
if __name__ =="__main__":  
    main()