KNN实例分析 1 --python

本文来源于 Machine Learning in Action

            **使用KNN改进约会网站的匹配效果**

步骤：原始数据预处理—分析数据—-训练算法—测试算法—-使用算法

1 原始数据预处理
本书中提供的原始数据（TXT）格式如下:

前3列为特征（飞机的里程数、玩游戏耗费时间、每周消费冰激凌的公斤数）。最后一列 为类别（不喜欢的、魅力一般的、极具魅力的）
显然，最后一列不利于数值分析以及数值范围不一致 不利于画图。所以在预处理阶段要执行两个步骤： 将文本记录转化为适合数值分析的矩阵 、 数值归一化
准备： numpy模块
说明文档： https://docs.scipy.org/doc/numpy-dev/reference/index.html#reference

1.1 将文本记录转化为适合数值分析的矩阵形式

from numpy import *
def text2matrix(filename):
    file = open(filename) # 打开文件
    arraylines = file.readlines() #  按行读取文件 readlines() 自动将文件内容分析成一个行的列表  可用for循环来处理
    numberlines = len(arraylines) #行数
    returnMat = zeros((numberlines,3))# 存储格式化后的数据  注(a)
    classlabel = [] #存储标签 
    classlabeltemp=[] 
    index = 0
    for line in arraylines:
        line = line.strip() # 去除每行开头、结尾处的空格
        listFromline = line.split('\t') #按‘\t’ 分割数据， 返回list
        returnMat[index,:] = listFromline[0:3] # 切片形式是 左闭右开 将listFromline的前3列数据放入returnMat的第一行 
        classlabeltemp.append(int(listFromline[-1]))# -1表示最后一个元素
        for x in classlabeltemp:
            if x == 'didntLike':
                x = int(1) #要声明是int 要不然append后是以string形式加入的
            elif x == 'smallDoses':
                x = int(2)
            else:
                x = int(3)
        classlabel.append(x)
    index+=1
    return returnMat, classlabel

注
(a) numpy.zeros(shape[, dtype, order]) 后面两个参数 一般用不到
依据给定形状和类型(shape[, dtype, order])返回一个新的元素全部为0的数组。
shape一般为 int或者int的元组形式

(b) 最后的格式为：

1.2 数据归一化
在处理不同取值范围的特征值时，通常采用数值归一化将取值范围处理到0到1之间。

$newvalue = (oldvalue-min)/(max-min)$

def autoNorm(dataset):
    minvalue = dataset.min(0) # min(0)操作是对列进行的，选出每一列的最小值，相应的min（1）就是对于行操作的。
    maxvalue = dataset.max(0) 
    ranges = maxvalue - minvalue
    [m,n] = dataset.shape  # shape[0]  shape[1]
    normData = (dataset-tile(minvalue, (m,1)))/tile(ranges, (m,1)) # / 除法 结果为 float  // 为除法去整
    return normData， ranges， minvalue

2 分析数据 （我们下一节具体分析代码）
为了更加直观的分析数据，我们将数据用图形化的方式表现出来。python 用 Matplotlib 模块来画图：
Matplotlib 是一个由 John Hunter 等开发的，用以绘制二维图形的 Python 模块。它利用了 Python 下的数值计算模块 Numeric 及 Numarray，克隆了许多 Matlab 中的函数， 用以帮助用户轻松地获得高质量的二维图形。Matplotlib 可以绘制多种形式的图形包括普通的线图，直方图，饼图，散点图以及误差线图等；可以比较方便的定制图形的各种属性比如图线的类型，颜色，粗细，字体的大小 等；它能够很好地支持一部分 TeX 排版命令，可以比较美观地显示图形中的数学公式。Matplotlib 掌握起来也很容易，由于 Matplotlib 使用的大部分函数都与 Matlab 中对应的函数同名，且各种参数的含义，使用方法也一致，这就使得熟悉 Matlab 的用户使用起来感到得心应手。对那些不熟悉的 Matlab 的用户而言，这些函数的意义往往也是一目了然的，因此只要花很少的时间就可以掌握。

3 训练、测试、使用算法
3.1 测试算法 （即用自带数据测试上节课的KNN分类器）
机器学习算法的一个很重要的工作就是评估算法的正确率，通常我们用已提供数据的90%进行训练，其余进行测试，来检测正确率。（随机选取 训练。测试数据）
对于分类器来说， 正确率就是分类器给出正确结果的次数除以测试数据的总数。(0-1)
代码中，我们设置一个计数器，每次分类正确，计数器加1，最后程序结束后，用计数器的结果除以数据点总数就是正确率。

def classtest():
    Ratio = 0.1 # 10%的数据进行测试
    data, label = text2matrix("datingTestSet.txt")# 调用函数 整理数据
    normMat, ranges, minvals = autoNorm(data) # 归一化
    n = normMat.shape[0]
    numtest = int(m*Ratio)
    count = 0
    for i in range(numtest):
        classfierresult = classify(normMat[i,:],normMat[numtest:m,:],label[numtest:m],3) #调用KNN的核心算法函数（第一节课中） classify(testdata, traindata, labels, k)
        print("the classifier came back with: %d, the real answer is: %d" % (classfierresult, label[i]))
        if (classfierresult == label[i]):
            count += 1
    print("the total rate is : %f" % (count/float(numtest)))

运行结果：

完整代码：

# -*-  coding: utf-8 -*-

from numpy import *
import operator

def text2matrix(filename):
    file = open(filename) # 打开文件
    arraylines = file.readlines() #  按行读取文件 readlines() 自动将文件内容分析成一个行的列表  可用for循环来处理
    numberlines = len(arraylines) #行数
    returnMat = zeros((numberlines,3))# 存储格式化后的数据  注(a)
    classlabel = [] #存储标签
    classlabeltemp=[]
    index = 0
    for line in arraylines:
        line = line.strip()   # 去除每行开头、结尾处的空格
        listFromline = line.split('\t') #按‘\t’ 分割数据， 返回list
        returnMat[index, :] = listFromline[0:3] # 切片形式是 左闭右开 将listFromline的前3列数据放入returnMat的第一行
        classlabeltemp.append((listFromline[-1])) # -1表示最后一个元素
        for x in classlabeltemp:
            if x == 'didntLike':
                x = int(1) #要声明是int 要不然append后是以string形式加入的
            elif x == 'smallDoses':
                x = int(2)
            else:
                x = int(3)
        classlabel.append(x)
        index += 1
    return returnMat, classlabel
def autoNorm(dataset):
    minvalue = dataset.min(0) # min(0)操作是对列进行的，选出每一列的最小值，相应的min（1）就是对于行操作的。
    maxvalue = dataset.max(0)
    ranges = maxvalue - minvalue
    m = dataset.shape[0]  # shape[0]  shape[1]
    normData = (dataset-tile(minvalue, (m,1)))/tile(ranges, (m,1)) # / 除法 结果为 float  // 为除法去整
    return normData, ranges, minvalue

def classify(testdata, traindata, labels, k):
    [m,n] = traindata.shape #等价于 m=traindata.shape[0] 获得行数
                            #      n=traindata.shape[1] 列数
    # （1）计算距离  欧式距离(第1步)
    diffMat = tile(testdata,(m,1))-traindata # tile()相当于matla中的 repmat函数，将testdata重组为 m行1列。
    sqdiffMat = diffMat**2  # **表示次方
    sqdistance = sqdiffMat.sum(axis=1)  # axis=0, 表示按列加。axis=1, 表示按行加行
    distance = sqdistance**0.5
    sorteddistance = distance.argsort() #返回排序后的索引 （第2步）
    classcount={}#创建一个字典用来存储类别出现的频率
    for i in range(k):# 第三步选前k个点对应的label
        votelabel = labels[sorteddistance[i]]
        classcount[votelabel] = classcount.get(votelabel,0)+1 # 第4步
    sortedclasscount = sorted(classcount.items(), key=operator.itemgetter(1), reverse=True)  #reverse=True 从大到小排列
    return sortedclasscount[0][0]

def classifyperson():
    resultlist = ['不喜欢', '有点魅力', '很有魅力']
    percenTats = float(input("打游戏时间：")) # python3.X 将raw_input改为input
    ffMiles = float(input("每年获得的飞行里程数："))
    icecream = float(input("吃冰激凌的公斤数："))
    data, label = text2matrix("datingTestSet.txt")# 调用函数 整理数据
    normMat, ranges, minvals = autoNorm(data) # 归一化
    inArr = array([ffMiles, percenTats, icecream])
    normT = (inArr-minvals)/ranges
    classfierresult = classify(normT, data, label, 3)
    print("该人为：%s" % resultlist[classfierresult-1]) # 因为输出标签 为1 2 3， 而 resultlist索引从0开始，所以要减去1

if __name__ == '__main__':
    classifyperson()

运行结果：