kNN近邻算法学习

创建模块kNN.py（相当于导入已有的数据和标签）：

from numpy import *
import operator

def createDataSet():
    group = array( [ [1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1] ] )
    labels = ['A', 'A', 'B', 'B']
    return group, labels

实施算法：

import kNN   #导入上面的kNN模块，按功能看并没有导入numpy和operator，下面还要导入numpy和operator
from numpy import *
import operator


group, labels = kNN.createDataSet()

def classify0(inX, dataSet, labels, k):  #定义分类函数
    dataSetSize = dataSet.shape[0]    #dataSetSize为样本数据的个数
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet  #待分类数据与每个样本数据相减
    sqdiffMat = diffMat ** 2      
    sqDistances = sqdiffMat.sum(axis = 1)  # m*n规模，0为每一列元素相加得1行n列，1为每一行元素相加，得1行m列
    distances = sqDistances ** 0.5         #上面3条程序是欧式距离，就是根号下平方和
    sortedDistIndicies = distances.argsort()  #欧式距离按升序排序,不显示具体值，只显示位置标号
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]  #现取出最近的一个样本数据的标签，循环
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1   #初始次数为0，出现一次+1并写入字典
        sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
        #对标签统计的字典进行降序排列，先变列表，选取关键值（按哪个元素排序），True降序，False升序
    return sortedClassCount[0][0]    #提取统计次数最多的那个标签

print(classify0([0,0], group, labels, 3))  #调用函数，区分[0,0]的标签

学习要点：

1.numpy中的shape用法：

>>> from numpy import *
>>> a = array([[1, 2, 3], [1, 2 ,3], [1, 2, 3], [1, 2, 3]]) #注意是([ [] ])，最外面的括号是array(),第二层的是行的                [],行里有4个即4行，第三层是列的[]，列里有3个即3列
>>> a.shape
(4, 3)
>>> a.shape[0]     #.shape[]用的是方括号
4
>>> a.shape[1]
3

>>> b = array( [ [ [1,2,3,4],[1,2,3,4],[1,2,3,4] ],[ [1,2,3,4],[1,2,3,4],[1,2,3,4] ] ]  )  #2页3行4列
>>> b.shape    
(2, 3, 4)    #第一层[]页，第二层[]行，第三层[]列
>>> b.shape[0]
2
>>> b.shape[1]
3
>>> b.shape[2]
4

2.numpy中tile用法：

>>> tile([1,2], 3)       #单独一个数时是重复列3次，变成1行6列
array([1, 2, 1, 2, 1, 2])
>>> tile([1,2],(2,3))    #变成2行6列
array([[1, 2, 1, 2, 1, 2],
       [1, 2, 1, 2, 1, 2]])

>>> c = array([[[1,2],[1,2]],[[1,2],[1,2]]])
>>> c.shape
(2, 2, 2)
>>> d = tile(c,(2,1,1))    #重复页
>>> d.shape
(4, 2, 2)
>>> e = tile(c,2)     #单个值重复列
>>> e.shape
(2, 2, 4)

3.numpy中argsort用法：

一维：

>>> a = array([9,8,7])
>>> argsort(a)   #升序排列，由小到大
array([2, 1, 0])
>>> argsort(-a)  #降序排列，由大到小
array([0, 1, 2])

二维用法是argsort(a,axis=0或者1)，0时按列排列，1时按行排列

4.字典的.get的用法和写入字典的方式：

>>> a = {'A':1, 'B':2}
>>> a.get('A',3)    #字典中'A'若是存在，则返回'A'后的值，'A'若是不存在则返回后面的默认值
1
>>> a.get('C',3)
3

>>> a = {}          #字典写入
>>> a['B'] = 3
>>> a
{'B': 3}

5.标准库的sorted用法：

sorted(<class 'dict_items'>或者<class 'list'>, key=operator.itemgetter(), reverse=True/False )

首先是解决字典变列表问题：

>>> a = {'A':2, 'B':3}
>>> a.items()          #dict.items()字典变成<class 'dict_items'>，<class 'dict_items'>不是<class 'list'>
dict_items([('A', 2), ('B', 3)])

然后是利用operator模块的itemgetter()抓取排序的关键值：0表示按第一个元素排序，1表示按第二个元素排序

最后 True降序，False升序