knn分类算法python代码_《机器学习入门》笔记 - python实现kNN分类算法

做一组假数据

#coding=UTF8

from numpy import *

import operator

def createDataSet():

group = array([

[1.0,1.1],

[1.0,1.0],

[0. ,0. ],

[0. ,0.1]

])

labels = ['A','A','B','B']

return group, labels

运行

k临近算法

整体思路：

获取样本行数

将输入的测试样本扩展成格式、数量一样的矩阵

矩阵做差、平方、求平方和、开方

按照升序排序，并获取对应index值的排序

按顺序获取前k个最小的差值，并将其标签统计到字典，结果为类似A:2个、B:1个的状态

返回前k个最小的差值包含最多的标签数

def classify0(inX, dataset, labels, k):

"""

inX 是输入的测试样本，是一个[x, y]样式的

dataset 是训练样本集

labels 是训练样本标签

k 是top k最相近的

"""

# shape返回矩阵的[行数，列数]，

# 那么shape[0]获取数据集的行数，

# 行数就是样本的数量

dataSetSize = dataset.shape[0]

"""

下面的求距离过程就是按照欧氏距离的公式计算的。

即 根号(x^2+y^2)

"""

# tile属于numpy模块下边的函数

# tile(A, reps)返回一个shape=reps的矩阵，矩阵的每个元素是A

# 比如 A=[0,1,2] 那么，tile(A, 2)= [0, 1, 2, 0, 1, 2]

# tile(A,(2,2)) = [[0, 1, 2, 0, 1, 2],

# [0, 1, 2, 0, 1, 2]]

# tile(A,(2,1,2)) = [[[0, 1, 2, 0, 1, 2]],

# [[0, 1, 2, 0, 1, 2]]]

# 上边那个结果的分开理解就是：

# 最外层是2个元素，即最外边的[]中包含2个元素，类似于[C,D],而此处的C=D，因为是复制出来的

# 然后C包含1个元素，即C=[E],同理D=[E]

# 最后E包含2个元素，即E=[F,G],此处F=G，因为是复制出来的

# F就是A了，基础元素

# 综合起来就是(2,1,2)= [C, C] = [[E], [E]] = [[[F, F]], [[F, F]]] = [[[A, A]], [[A, A]]]

# 这个地方就是为了把输入的测试样本扩展为和dataset的shape一样，然后就可以直接做矩阵减法了。

# 比如，dataset有4个样本，就是4*2的矩阵，输入测试样本肯定是一个了，就是1*2，为了计算输入样本与训练样本的距离

# 那么，需要对这个数据进行作差。这是一次比较，因为训练样本有n个，那么就要进行n次比较；

# 为了方便计算࿰