原生Python实现KNN算法（使用鸢尾花数据集）

 

一.题目：

原生python实现knn分类算法(使用鸢尾花数据集)

K最近邻(KNN,K-nearestNeighbor)分类算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本属于也属于这个类别，并具有这个类别样本上的特性。

即选取k个离测试点最近的样本点，输出在这k个样本点中数量最多的标签。所以要实现kNN算法，我们只需要计算出每一个样本点与测试点的距离(欧式距离)，选取距离最近的k个样本，获取他们的标签，然后找出k个样本中数量最多的标签，返回该标签。

欧式距离：

m维空间的距离公式，d2 = (x1 - y1)2 + (x2 - y2)2  + ... + (xm - ym)2

二.算法设计：

1.导入数据：从CSV中读取数据，并把它们分割成训练数据集和测 试数据集。

数据集获取地址：

https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data

2.计算数据集中训练集数据与测试集两个数据实例之间的距离（欧氏距离）。

3.返回临近确定最相近的N个实例。

4.返回预测结果，对k个近邻进行合并，返回value最大的key 。

5.计算准确度，总结预测的准确度。

三．源代码：

import csv     #用于处理csv文件  
import random    #用于随机数  
import math           
import operator   
#加载数据集  
def loadDataset(filename,split,trainingSet=[],testSet = []):  
    with open(filename,"r") as csvfile:  
        lines = csv.reader(csvfile)  
        dataset = list(lines)  
        for x in range(len(dataset)-1):  
            for y in range(4):  
                dataset[x][y] = float(dataset[x][y])  
            if random.random()<split:   #随机对数据集进行分类
                trainingSet.append(dataset[x])  
            else:  
                testSet.append(dataset[x])  
  
#计算距离  
def Distance(instance1,instance2,length):  
    distance = 0  
    for x in range(length):  
        distance += pow((instance1[x] - instance2[x]),2)  
    return math.sqrt(distance)  
  
#返回K个最近邻  
def getNeighbors(trainingSet,testInstance,k):  
    distances = []  
    length = len(testInstance) -1  
    #计算每一个测试实例到训练集实例的距离  
    for x in range(len(trainingSet)):  
        dist = Distance(testInstance, trainingSet[x], length)  
        distances.append((trainingSet[x],dist))  
    #对所有的距离进行排序  
    distances.sort(key=operator.itemgetter(1))  #operator模块提供的itemgetter函数用于获取对象的哪些维的数据
    neighbors = []  
    #返回k个最近邻  
    for x in range(k):  
        neighbors.append(distances[x][0])  
    return neighbors  
  
#对k个近邻进行合并，返回value最大的key  
def getResponse(neighbors):  
    classVotes = {}  
    for x in range(len(neighbors)):  
        response = neighbors[x][-1]  
        if response in classVotes:  
            classVotes[response]+=1  
        else:  
            classVotes[response] = 1  
    #排序  
    sortedVotes = sorted(classVotes.items(),key = operator.itemgetter(1),reverse =True)  
    return sortedVotes[0][0]  
  
#计算准确率  
def getAccuracy(testSet,predictions):  
    correct = 0 #测试成功的数据个数 
    for x in range(len(testSet)):  #循环取出一个测试数据进行测试
        if testSet[x][-1] == predictions[x]:  
            correct+=1  #预测成功则计数值加一
    return (correct/float(len(testSet))) * 100.0 #计算准确率 
  
def main():  
    trainingSet = []  #训练数据集  
    testSet = []      #测试数据集  
    split = 0.67      #分割的比例  
    loadDataset("iris.data", split, trainingSet, testSet)   #从文件中加载数据集
    print('Train:',repr(len(trainingSet)))
    print('Test:',repr(len(testSet)))                 
      
    predictions = []  
    k = 3  
    for x in range(len(testSet)):  
        neighbors = getNeighbors(trainingSet, testSet[x], k)  
        result = getResponse(neighbors)  
        predictions.append(result)  
        print('>预测=' ,repr(result),',实际=',repr(testSet[x][-1]))  
    accuracy = getAccuracy(testSet, predictions)  
    print('准确率:',repr(accuracy),'%')  
  
if __name__ =="__main__":  
    main()

 

四.调试：

1.加载数据文件

（错误的：原因是读取数据集文件错误，因为open默认读取的是文本文件，此处的数据集保存形式不是文本文件，将rb改为r就可以了）

             

 

（改正后：）

             

 

2.k临近调试

            

 

五.测试：

1.

数据集切分测试代码：

                     

 

随机切分结果：

         

 

2.

k最临近测试代码：

            

 

测试结果：

            

 

3.

欧氏距离测试代码：

                    

 

测试结果：

           

六.运行结果：、

七.总结：

学习参考了CSDN文章：

https://blog.csdn.net/gxlmsw1314/article/details/51684104?utm_source=app

在编程过程中的第一步就出现了错误，主要原因是对open打开文件的默认格式不清楚。接下来是对k个最临近数据进行排序时浪费了很长时间，找了很多方法，最终使用operator.itemgetter(1)这个方法完成了排序。

收获：对于python的语法有了进一步的了解，而且将最基础的语法也进行了学习（因为一开始我的输出语句都能写错），也知道了几个用于对数据字典进行操作的函数。最主要的是这次将字典，列表的知识掌握的很熟悉。