python机器学习——k-近邻算法（KNN）

KNN
简单的说，knn采用测量不同特征值之间的距离方法，进行分类

优点：精度高，对异常值不敏感，无数据输入假定。
缺点：计算复杂度高，空间复杂度高。
适用数据范围：数值型和标称型。

工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算中k的出处，通常k是不大于20的整数。最后，选择k个最相似的数据中出现次数最多的分类，作为新数据类。

举例：电影分类（爱情片，动作片）

knn算法的一般流程：

1. 收集数据：可以使用任何方法
2. 准备数据：距离计算所需要的数值，最好是结构化的数据格式。
3. 分析数据：可以使用任何方法
4. 训练算法：此步骤不适用于k-近邻算法。
5. 测试算法：计算错误率。
6. 使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续处理。

算法详述

 步骤：
 为了判断未知实例的类别，以所有已知类别的实例作为参照
 选择参数K
 计算未知实例与所有已知实例的距离
 选择最近K个已知实例
 根据少数服从多数的投票法则(majority-voting)，让未知实例归类为K个最邻近样本中最多数的类别

细节:
关于K
关于距离的衡量方法:

上面电影分类实例，计算未知电影到各个点的距离：

import math
def ComputeEuclideanDistance(x1, y1, x2, y2):
    d = math.sqrt(math.pow((x1-x2), 2) + math.pow((y1-y2), 2))
    return d

d_ag = ComputeEuclideanDistance(3, 104, 18, 90)
d_bg = ComputeEuclideanDistance(2, 100, 18, 90)
d_cg = ComputeEuclideanDistance(1, 81, 18, 90)
d_dg = ComputeEuclideanDistance(101, 10, 18, 90)
d_eg = ComputeEuclideanDistance(99, 5, 18, 90)
d_fg = ComputeEuclideanDistance(98, 2, 18, 90)


print (d_ag)
print (d_bg)
print (d_cg)
print (d_dg)
print (d_eg)
print (d_fg)

import numpy as np
import matplotlib.pyplot as plt

#配置字体，显示中文
plt.rcParams['font.sans-serif']=['FangSong']

#创建数据采集函数
def createDateSet():
    #四个数据
    group=np.array([[1,101],[5,89],[108,5],[115,8]])
    #四个标签
    label =['爱情片','爱情片','动作片','动作片']
    return  group,label

if __name__ == '__main__':

    group,label=createDateSet()
    x=group[:,0]
    y=group[:,1]
    plt.scatter(x,y)
    #增加信息
    plt.text(5,94,'爱情片',size=20)
    plt.text(95,10,'动作片',size=20)


plt.show()

def knn(inX,dataSet,label,k):
    #计算行号
    dataSetSize=dataSet.shape[0]
    #矩阵相减 tile产生块矩阵【1,101】
    diffMat=np.tile(inX,(dataSetSize,1))-dataSet
    #相减以后进行平方，对每个元素平方
    sqDiffMat=diffMat**2
    #按行相加
    sqDistances=sqDiffMat.sum(axis=1)
    #开方
    distance=sqDistances**0.5
    print(distance)
    #排序
    sortedDistIndices=distance.argsort()
    print(sortedDistIndices)

group,label=createDateSet()
knn([110,2],group,label,3)