Python实现KNN算法（鸢尾花数据）

一.实验内容

        原生python实现knn分类算法，使用鸢尾花数据集。

二.算法设计

      数据来源：http://archive.ics.uci.edu/ml/datasets/Iris

1.处理csv文件加载数据集，将读入数据转换为列表处理。根据random.Random()方法随机产生0~1之间的随机数与分割比进行比较，将数据分为训练集和测试集。

2.采用欧式距离法D=i=1n(xi-yi)2计算测试实例与训练实例的距离。

3.返回k个最近邻。增加一个参数length，确立测试集需要计算的四个数字维度，计算每一个测试实例到训练实例的距离，对所有距离进行排序，取其中最小距离值。

4.根据返回的邻居，预测结果。让近邻元素对预测属性投票，最终返回出现次数最多的标签作为预测结果。

5. 分类准确度，计算在测试数据集中算法正确预测的比例。

三.源代码

1.分割数据集。

def loadDataset(filename, split, trainingSet=[], testSet=[]):

    with open(filename, "r") as csvfile:

        lines = csv.reader(csvfile)

        dataset = list(lines)#将读入数据转换为列表处理

        for x in range(len(dataset) - 1):

            for y in range(4):

                dataset[x][y] = float(dataset[x][y])

            if random.random()< split:

                trainingSet.append(dataset[x])

            else:

                testSet.append(dataset[x])

2.欧式距离法

def Distance(instance1, instance2, length):

    distance = 0

    for x in range(length):

        distance += pow((instance1[x] - instance2[x]), 2)

    return math.sqrt(distance)

 

import csv  # 处理csv文件
import random  # 用于随机数
import math
import operator

# 加载数据集并分割为训练集和测试集
def loadDataset(filename, split, trainingSet=[], testSet=[]):
    with open(filename, "r") as csvfile:
        lines = csv.reader(csvfile)
        dataset = list(lines)#将读入数据转换为列表处理
        for x in range(len(dataset) - 1):
            for y in range(4):
                dataset[x][y] = float(dataset[x][y])
            if random.random()< split:
                trainingSet.append(dataset[x])
            else:
                testSet.append(dataset[x])

# 计算距离：欧式距离法
def Distance(instance1, instance2, length):
    distance = 0
    for x in range(length):
        distance += pow((instance1[x] - instance2[x]), 2)
    return math.sqrt(distance)

# 返回K个最近邻
def getNeighbors(trainingSet, testInstance, k):
    distances = []
    length = len(testInstance) - 1
    # 计算每一个测试实例到训练集实例的距离
    for x in range(len(trainingSet)):
        dist = Distance(testInstance, trainingSet[x], length)
        distances.append((trainingSet[x],dist ))
        # 对所有的距离进行排序
    distances.sort(key=operator.itemgetter(1))
    neighbors = []
    for x in range(k):
        neighbors.append(distances[x][0])
    return neighbors

# 根据返回的邻居，对其进行分类
def getResponse(neighbors):
    classVotes = {}
    for x in range(len(neighbors)):
        response = neighbors[x][-1]
        if response in classVotes:
            classVotes[response] += 1
        else:
            classVotes[response] = 1
    sortedVotes = sorted(classVotes.items(), key=operator.itemgetter(1), reverse=True) # 按照第一个进行排序
    return sortedVotes[0][0]#返回出现次数最多的标签

# 计算准确率
def getAccuracy(testSet, predictions):
    correct = 0
    for x in range(len(testSet)):
        if testSet[x][-1] == predictions[x]:
            correct += 1
    return (correct / float(len(testSet))) * 100.0

def main():
    trainingSet = []  # 训练数据集
    testSet = []  # 测试数据集
    split = 0.70  # 分割的比例
    loadDataset(r"F:\text\iris.data", split, trainingSet, testSet)
    predictions = []
    k = 3
    for x in range(len(testSet)):
        neighbors = getNeighbors(trainingSet, testSet[x], k)
        result = getResponse(neighbors)
        predictions.append(result)
        print ('预测结果:%s,实际结果：%s'%(result,(testSet[x][-1])))
    accuracy = getAccuracy(testSet, predictions)
    print('正确率为: %f' % (accuracy))

if __name__ == "__main__":
    main()

四.测试用例设计及调试过程

1.分割比为7：3，k=3

2.分割比为7：3，k=7

 

虽然主要参考于别人的代码，但在自己电脑上运行时还存在问题。比如：

1. 因此csv文件并非二进制文件， 只是一个文本文件。所以将with open(filename, "rb") as csvfile中“rb”改为“r”

2.一开始运行时发现预测结果总是与实际结果一致。检查后发现分割测试集时testSet.append(dataset[y])参数错误。