Knn算法实例（代码来自机器学习实战，我加了详细的注释，仅供学习）

knn算法代码

Knn算法—识别手写数字（机器学习实战）

---

一、Knn算法原理？

1.通俗的说就是：对于给定的输入向量在训练集中找到与该输入实例最近的k个实例，统计这k个实例中每个实例（按照标签分类）所属的类。根据我们统计结果，把输入向量划分到该类中，预测值便是该类别（类中包含最多的实例）。

二、使用步骤

1.引入库

代码如下（示例）：

from numpy import *
import operator

2.全部代码

代码如下（示例）：

#createDataSet()返回值为：数据集(矩阵)，标签列表(向量)。用来创建一个简单的数据集和标签
def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels
#classify0(),返回值为标签，输入一个向量，和数据集来判断输入向量的结果，一个三个形参
#inX是要预测的数据，dataSet为数据集，labels为数据集的对应标签列表（一维向量)，k是kNN算法的k个最近邻。
def classify0(inX,dataSet,Labels,k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX,(dataSetSize,1)) - dataSet
    sqDiffMat = diffMat **2
    sqDistances = sqDiffMat.sum(axis = 1)
    distance = sqDistances ** 0.5
    sortedDistIndices = sqDistances.argsort()   #argsort()实现升序排列数据，返回的是原数据排列之前的索引值列表
    classCount = {
   }    #创建一个字典用于统计要预测的inX最近的k个近邻Labels标签
    for i in range(k): #for循环将k个最近的邻居存入到classCount{
   }字典中。形如{
   A：