原生python实现knn分类算法

一、题目分析
K最近邻（k-Nearest Neighbor，KNN）分类算法是最简单的机器学习算法。 KNN算法的指导思想是“近朱者赤，近墨者黑”，由你的邻居来推断出你的类别。本质上，KNN算法就是用距离来衡量样本之间的相似度。
二、算法设计
2.1、计算步骤
1）算距离：给定测试对象，计算它与训练集中的每个对象的距离
2）找邻居：圈定距离最近的k个训练对象，作为测试对象的近邻
3）做分类：根据这k个近邻归属的主要类别，来对测试对象分类
2.2、相似度的衡量
 距离越近应该意味着这两个点属于一个分类的可能性越大。
但，距离不能代表一切，有些数据的相似度衡量并不适合用距离
 相似度衡量方法：欧式距离
2.3、类别的判定
 简单投票法：少数服从多数，近邻中哪个类别的点最多就分为该类。
 加权投票法：根据距离的远近，对近邻的投票进行加权，距离越近则权重越大（权重为距离平方的倒数）
三、源代码

import numpy as np
import operator

1.处理训练数据集
filename:
训练数据文件
return:
returnMat - 处理得到的每一个训练样本的数据集合
returnLabel - 每一个训练样本所属的类别标签集合

def trainingFile2Matrix(filename):
    """
    函数说明：
        处理训练数据集
    :param filename:
        训练数据文件
    :return:
        returnMat - 处理得到的每一个训练样本的数据集合
        returnLabel - 每一个训练样本所属的类别标签集合
    """
    file = open(filename)
    content = file.readlines()

    lineCount = len(content)

    returnMat = np.zeros((lineCount, 4))
    returnLabel = []

    index = 0

    for line in content:
        line = line.strip()
        example = line.split(',')

        returnMat[index, : ] = example[0 : 4]
        index += 1
        returnLabel.append(example[4])

    return returnMat, returnLabel

2.处理测试数据集
filename:
测试数据文件
return:
returnMat - 处理得到的每一个测试样本的数据集合

def testFile2Matrix(filename):
    """
    函数说明：
        处理测试数据集
    :param filename:
        测试数据文件
    :r