机器学习实战笔记（一）简单实现k-近邻算法

1.概念

k-近邻算法常用于分类，属于监督学习。

优点：精度高，对异常值不敏感

缺点：计算复杂度高，空间复杂度高

使用范围：数值型和标称型

2.简单样例

一、准备

1.先定义4个点分别为[（1.0，1.1），（1.0，1.0），（0，0），（0，0.1）]

2.定义对应的标签，索引对应即可['A'，'A'，'B'，'B']

二、实现步骤（伪代码）

1.输入数据向量

2.计算已知类别数据集中的点到当前点之间的距离

3.按照距离递增次序排序（拿到对应的索引值）

4.选取与输入点距离最近的k个数据

5.确定k个点对应的标签（类别）

6.返回该标签，作为输入数据的类别

3.代码实现

#k-近邻算法
#初始化训练集
import numpy as np
import operator as op

def createDataSet():
    group=np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) #前2组数据归为A类，后2组数据归为B类
    labels=['A','A','B','B']
    return group,labels
group,labels=createDataSet() #一起赋值
print(group)
print(labels)
print(group.shape) #4行2列
#核心算法
def classify0(inX,dataSet,labels,k): #分别为目标点(输入向量)，训练数据(group)，标签向量，相似数据个数
    dataSetSize=dataSet.shape[0]
    diffMat=np.tile(inX,(dataSetSize,1))-dataSet #构建数组，与训练集数据数量一致的输入向量，并进行点之间作差
    sqDiffMat=diffMat**2 #进行平方
    sqDistance=sqDiffMat.sum(axis=1) #行求和
    distances=sqDistance**0.5 #开平方
    sortedDistIndicies=distances.argsort() #从小到大排列并提取索引
    classCount={} #定义字典,用于匹配的数据对应的标签计数
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]] #拿到最匹配的训练数据对应的标签
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1 #后面有个0，这个0表示如果字典里面没有想要的关键词，就返回0，如果有就返回相应的关键词。
    sortedClassCount=sorted(classCount.items(),key=op.itemgetter(1),reverse=True) #调用items方法，返回一个列表，其中字典对变为一对元组,key设置为第2域也就是标签出现次数，最后一个参数为降序，参考https://www.cnblogs.com/zhoufankui/p/6274172.html
    return sortedClassCount[0][0] #返回降序排列后列表第一个元组第一个元素,即标签
classify0([0,0],group,labels,3) #输出'B'

结果如下：