机器学习之K近邻算法

K-Nearest Neighbors（KNN）

• 将新数据的每一个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据的分类标签（最近邻的样本）
• 优点：精确度高、对异常值不敏感、无数据输入假定
• 缺点：计算复杂度高、空间复杂度高。保存每个数据，计算每个数据，无法给出平均实例样本和典型事例样本有什么特征

• 适用数据范围：数值型和标称型

  K-近邻算法的一般流程

• 1、收集数据。

• 2、准备数据，距离计算所需要的数值，最好是结构的数据格式
• 3、分析数据
• 4、训练算法，此步不适合K-近邻算法
• 5、测试算法，计算错误率
• 6、 使用算法
  还是机器学习应用的一般步骤

numpy中的一些函数

• tile()函数
  
  • numpy.tile([0,0],(4,1)) 在行方向重复[0,0] 4次，列方向重复[0,0]一次
  • https://blog.csdn.net/ksearch/article/details/21388985
• sum()函数。
  
  • 没有axis参数表示全部相加，axis＝0表示按列相加（对每一列求和），axis＝1表示按照行的方向相加（对每一行求和）
  • https://blog.csdn.net/ikerpeng/article/details/17026011
• min(),max() 函数
  
  • a.min() #无参，所有中的最小值
    a.min(0) # axis=0; 每列的最小值
    a.min(1) # axis=1；每行的最小值
• argsort()函数
  
  • argsort函数返回的是数组值从小到大的索引值
  • https://blog.csdn.net/maoersong/article/details/21875705

python中的一些函数

• sort(),sorted(),operator.itemgetter()
  
  • sort 是应用在 list 上的方法，sorted 可以对所有可迭代的对象进行排序操作。
  • list 的 sort 方法返回的是对已经存在的列表进行操作，而内建函数 sorted 方法返回的是一个新的 list，而不是在原来的基础上进行的操作。
  • https://blog.csdn.net/dongtingzhizi/article/details/12068205

归一化

• 消除特征值的取值范围不同的问题。有的特征值取值在【0，1】，有的特征值可能取值在【100，1000】。避免因取值范围不同导致特征的重要性不同

• newValue = (oldValue - min) / (max - min)

  ‘python3 中 dict’ object has no attribute ‘iteritems’

• python3中已经没有这个属性，直接改为items即可

• https://blog.csdn.net/sinat_35512245/article/details/78639317

  Python 解决 ：NameError: name ‘reload’ is not defined 问题
  https://blog.csdn.net/github_35160620/article/details/52206868

• python3x

import imp
imp.reload(knn)

• python2x

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

#用matplotlib 显示图像  各种图形（散点图scatter等）如何绘制待学习
import matplotlib.pyplot as plt
fig = plt.figure()
fig.show()

from numpy import *
import operator

def createDataSet():
    #常见错误 group = array([1.0,1.1],[1.0,1.0],[0,0],[0,0.1])
    #valueError:only 2 non-keyword arguments accepted
    #导入模块后，若修改了导入的模块中的代码，需要重新导入
    group = array([[1.0,1.1],[0,1.0],[0,0],[0,0.1]])
    labels =['A','A','B','B']
    return group,labels

def classify0(inX,dataSet,labels,k):
    #距离计算
    dataSetSize = dataSet.shape[0]
    #numpy.tile([0,0],(4,1)) 在行方向重复[0,0] 4次，列方向重复[0,0]一次
    diffMat = tile(inX,(dataSetSize,1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5
    sortedDistIndicies = distances.argsort()

    #选择距离最小的k个点
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        #classCount.get(voteIlabel,0) 若字典中不存在键值voteIlabel，返回0，而不是报错
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1

    #排序 python3 中iteriitems 改为了items
    sortedClassCount = sorted(classCount.items(),
                              key=operator.itemgetter(1),
                              reverse=True
        )
    return sortedClassCount[0][0]

#将文本记录转换成Numpy
def file2matrix(filename):
    #打开文件
    fr = open(filename)
    #获取行数
    arrayOfLines = fr.readlines()
    numberOfLines = len(arrayOfLines)

    #此处的 3 对应数据的 3 个特征
    returnMat = zeros((numberOfLines,3))
    classLabelVector = []
    index = 0
    for line in arrayOfLines:
        #去除换行符
        line = line.strip()
        listFromLines = line.split('\t')
        #对 returnMat第index行的所有列赋值
        returnMat[index,:] = listFromLines[0:3]
        classLabelVector.append(int(listFromLines[-1]))
        index += 1
    return returnMat,classLabelVector

#归一化特征值
def autoNorm(dataSet):
    # min(0) axis=0 每列中的最小值，因为列是相同特征值的不同取值
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]
    normDataSet = dataSet - tile(minVals,(m,1))
    #  / 是具体的元素级别的相除，不是矩阵除法
    #  numpy中的矩阵除法 linalg。solve（matA,matB）
    normDataSet = normDataSet/tile(ranges,(m,1))

    return normDataSet,ranges,minVals

#测试算法的正确率
def datingClassTest():
    hoRatio = 0.1
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
    normMat,rangs,minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m * hoRatio)
    errorCount = 0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],
                                    datingLabels[numTestVecs:m],
                                    3
            )
        print('the classifier came back with:%d,the real answer is:%d'
            %(classifierResult,datingLabels[i])
            )
        if classifierResult != datingLabels[i]:
            errorCount += 1
    print('the total error rate is:%f' %(errorCount/float(numTestVecs)))

#预测函数
def classifyPerson():
    resultList = ['not at all','in small doses','in large doses']
    percentTats = float(input('percentage of time spent playing video games?'))
    ffMiles = float(input('frenquent flier miles earned per year?'))
    iceCream = float(input('liters of ice cream consumed per year?'))
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
    normMat,ranges,minVals = autoNorm(datingDataMat)
    inArr = array([ffMiles,percentTats,iceCream])
    classifierResult = classify0((inArr-minVals)/ranges,normMat,datingLabels,3)
    print('You will probaly like this person:',resultList[classifierResult-1])