KNN算法实现及使用到的python函数详解

第一次写博客，欢迎大家来观看，之后会有连载，主要是用于学习机器学习实战（Machine Learning in Action）这本书的例子

今天先介绍一下KNN分类

KNN原理：存在一个样本数据集合，也做训练集，并且样本中的每个数据都存在标签，即我们知道样本集中每个数据与所属分类的对应关系。输入没有标签的数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中相似度最高的K个训练样本，这就是k近邻算法，也是k来由来。最后选择k个样本中出现次数最多的类别当做新数据的分类。

以下就是KNN的函数：

def classify0(inX, dataSet, label, k):
    dataSetSize = dataSet.shape(0)                     
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataset  
    sqDiffMat = diffMat**2                             
    sqDistance = sqDiffMat.sum(axis=1)
    distance = sqDistance**0.5
    sortedDistIndicies = distance.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = label[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

其中共有四个输入参数：inX为分类的输入向量；dataSet是输入的样本训练集；label是他的标签；参数k用来选择最近邻数目。上述代码中的距离采用欧式距离。计算完距离后对数据按照从小到大进行排序，然后程序使用itemgetter方法，将第二个元素的次序对元组进行排序（此处从大到小排），最后返回元素标签。

里面用到的函数进行讲解：

dataSet.shape(0)和dataSet.shape(1)：此函数用来返回元组（我理解的是矩阵）的大小，即shape(0)返回矩阵行数，shape(1)返回矩阵列数。

import numpy as np
group = np.array([[1, 1.1], [1, 1], [0, 0], [0, 0.1]])
print(group)
print(group.shape[0])
print(group.shape[1])

输出：
[[1.  1.1]
 [1.  1. ]
 [0.  0. ]
 [0.  0.1]]
4
2

np.tile是对矩阵进行扩展用

import numpy as np
dataSet = np.array([[1, 2, 3], [4, 5, 6]])
diffMat = np.tile(dataSet, (2, 3))
print(diffMat)

[[1 2 3 1 2 3 1 2 3]
 [4 5 6 4 5 6 4 5 6]
 [1 2 3 1 2 3 1 2 3]
 [4 5 6 4 5 6 4 5 6]]
#即将dataSet矩阵横向复制两遍，竖向复制三遍

在我实验以后发现 我们平时用的sum应该是默认的axis=0 就是普通的相加 ；而当加入axis=1以后就是将一个矩阵的每一行向量相加

import numpy as np
data=np.array([[[0,1,2,3],[4,5,6,7]],[[1,2,3,4],[5,6,7,8]]])
sum=data.sum()
sum0=data.sum(axis=0)
sum1=data.sum(axis=1)
sum2=data.sum(axis=2)
print ("sum: ",sum)
print(data)
print ("axis=0: ",sum0)
print ("axis=1: ",sum1)
print ("axis=2: ",sum2)

sum:  64
data: [[[0 1 2 3]
        [4 5 6 7]]
       [[1 2 3 4]
        [5 6 7 8]]]
axis=0:  [[ 1  3  5  7]
             [ 9 11 13 15]]
axis=1:  [[ 4  6  8 10]
             [ 6  8 10 12]]
axis=2:  [[ 6 22]
             [10 26]]  

 
1、axis=0时，对饮搞得是第一个维度元素的相加，

[[0,1,2,3],[4,5,6,7]]和[[1,2,3,4],[5,6,7,8]]对应元素相加[[0+4,1+2,2+3,3+4],[4+5,5+6,7+7,7+8]]=[[1,3,5,7],[9,11,14,16]]

2、axis=1时, 对应的是第二个维度元素相加，这时候保留第一个维度的结构(第一个维度元素的个数)，

第一个维度元素的个数为2。分别是

[[0,1,2,3],[4,5,6,7]]和[[1,2,3,4],[5,6,7,8]]

结构不变，继续向下拆分，可得

（1）[0,1,2,3]和[4,5,6,7], 对应元素相加, 合并到一个数组中, [4,6,8,10]

（2）[1,2,3,4]和[5,6,7,8], 对应元素相加, 合并到一个数组中, [6,8,10,12]

3、当axis=2时, 因为元素一共是三维，这就到了最后一个维度，将最小单位的数组元素相加即可。

[0+1+2+3,4+5+6+7],[[1+2+3+4],[5+6+7+8]]=[[6,22],[10,26]]