初识机器学习——k-近邻算法（1）

代码运行环境：Python 3.6.0 |Anaconda 4.3.1 (64-bit)
代码和图片均来自Peter harrington的《机器学习实战》
python3.6.0入门教程：http://www.pythondoc.com/pythontutorial3/

什么是k-近邻算法：（个人理解）


如图所示，通过对训练样本（已给的6个电影）中打斗镜头和接吻镜头进行数据统计，判断电影属于什么类型，即电影的标签
对于一个未知类型电影，要判断它是什么类型，只需通过计算未知电影和已知电影之间的距离，通过选取前K个距离最近的即可判断未知电影的类型。

kNN算法代码：

# coding: utf-8
from numpy import *
from os import listdir
import operator

def createDataSet(): #创造训练数组
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group, labels

def classify0(inX, dataSet, labels, k): #判断labels
    dataSetSize = dataSet.shape[0] #dataSet的第一维的长度
    diffMat = tile(inX, (dataSetSize,1)) - dataSet #将inX扩展成和dataSet大小一样的数组
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1) #数组行向量相加
    distances = sqDistances ** 0.5 #sqrt
    sortedDistIndicies = distances.argsort() #将distances中的元素按照索引排序（对应Labels中的元素）
    classCount = {} #labels和dataSet对照的dict
    for i in range(k):
        voteIlabels = labels[sortedDistIndicies[i]] #取最小元素的索引对应的Labels
        classCount[voteIlabels] = classCount.get(voteIlabels,0)+1 #get(voteIlabels,0)：voteIlabels存在则get，不存在get 0
        sortedClassCount = sorted(classCount.items(), #operator.itemgetter(1)：获取第一个域的值
         key=operator.itemgetter(1),reverse=True) #reverse：倒序
        return sortedClassCount[0][0] #返回匹配的距离最小Labels

运行结果：

In [1]: import kNN

In [2]: group,labels = kNN.createDataSet()

In [3]: group
Out[3]:
array([[ 1. ,  1.1],
       [ 1. ,  1. ],
       [ 0. ,  0. ],
       [ 0. ,  0.1]])

In [4]: labels
Out[4]: ['A', 'A', 'B', 'B']

In [5]: kNN.classify0([0,0],group,labels,3)
Out[5]: 'B'