机器学习实战笔记--kNN

---

本文为《机器学习实战》学习笔记

---

1. 相关数据类型&函数介绍

SciPy 基于Python生态系统提供了数学运算、科学和工程的开源软件，主要包括基本N维数组包NumPy，科学计算基本库SciPy library， 用于2D绘图的Matplotlib，交互式控制台IPython，用于符号数学Sympy，用于数据结构和分析的pandas。

1.1 NumPy

NumPy是python科学计算的基础包。包括强大的N维数组对象；复杂的函数；集成C/C++和Fortran代码的工具；线性代数、傅里叶变换和随机数功能。
标准python库中的array是一维的，功能更少。numpy的数组是ndarray，可以是多维的，拥有更多功能和属性。ndarray的主要属性如下：
ndim – 数组维度
shape – 数组形状，使用tuple表示数组在各个维度的大小，对于一个n行m列的数组，返回值为(n, m)，该元组的长度为数组维度的数量，即ndim。
size – 数组中元素的总数
dtype –数组中元素的类型
ndarray的基本运算如下：
A * B表示两个数组对应位置的元素相乘
A.dot(B) / dot(A, B) 表示矩阵积
A.sum(axis = ) 对数组元素求和。A.sum()表示对数组中的所有元素求和，axis = 0表示对每一列求和，axis = 1表示对每一行求和。
不同数据类型的数据运算时，结果向上转型（upcasting）

1.2 Matplotlib

Matplotlib是Python 2D绘图库。matplotlib.pyplot集合了命令行风格的函数，使得Matplotlib能够像MATLAB一样工作。每个pyplot函数都会导致图片的一些改变。

1.3 operator

operator模块包含了Python的标准操作函数，也定义了用于通用属性和item查找的工具。

1.4 io

io模块主要提供处理多种类型I/O的工具。

1.5 os

os模块与依赖操作系统的功能有关。其中，通过open()函数读写文件，os.path模块提供了操作路径的方法，fileinput模块能够在命令行中读取所有文件的所有行，tempfile模块提供创建临时文件和目录的操作，shutil模块提供高级的文件和目录处理。

2. kNN算法

2.1 构造数据集

#构造数据集
from numpy import *
def createDataSet():
    #group为样本，labels为样本对应标签
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

numpy.array(object, dtype=None, copy=True, order=’K’, subok=False, ndmin=0)建立数组。object为数组，dtype指定数据类型，ndmin指定最小维度

2.2 kNN分类器

#kNN算法
#inX为待分类向量，dataSet为训练样本集， labels为标签，k
def kNN(inX, dataSet, labels, k):
    #计算待分类向量与所有训练样本的欧氏距离
    dataSetSize = dataSet.shape[0] #获得训练样本的个数
    difMat = tile(inX, (dataSetSize, 1)) - dataSet #待分类向量与所有训练样本的差值矩阵
    sqDifMat = difMat ** 2  #差值平方
    sqDistances = sqDifMat.sum(axis = 1) # 对每行求和
    distances = sqDistances ** 0.5 #开根号，得到待分类向量与所有训练样本的距离
    sortedDistIndicies = distances.argsort() #得到使距离有序的索引数组
    #统计k个最近邻样本的标签数
    classCounts = {} #使用字典记录不同类别的样本数
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCounts[voteIlabel] = classCounts.get(voteIlabel, 0) + 1
    #按照标签的数量对标签逆序排序
    sortedClassCount = sorted(classCounts.items(), key = operator.itemgetter(1), reverse = True)
    return sortedClassCount[0][0]

numpy.tile(A, reps)函数通过将A重复reps次，构造数组。A为输入的数组，reps为A在每个维度上的重复次数。
numpy.argsort(a, axis=-1, kind=’quicksort’, order=None)返回能够使数组有序的索引数组index_array，a[index_array]使数组a有序。a为待排序数组；axis为排序维度，默认为-1，表示最后一个维度；kind为排序算法，可为’quicksort’, ‘mergesort’,’heapsort’；order为指定的顺序，当a具有字段定义时有效。
sorted(iterable[, key][, reverse])返回可迭代对象iterable的有序列表，是稳定排序。key为函数，指定用于比较的自变量，默认为None，表示直接进行排序；reverse为bool变量，指定是否逆序。
operator.itemgetter(item)返回可调用的对象，实现operator._getitem_(a, b)函数的功能，返回a在索引b处的值，item即为b。如果指定多个对象，返回元组。operator.itemgetter函数获取的不是值，而是定义了一个函数，通过该函数作用到对象上才能获取值。
如，f = operator.itemgetter(2, 3)定义函数f，获取索引(2, 3)处的值, 调用f(r)返回(r[2], r[3])

3. 使用kNN改进约会网站的配对效果

3.1 从文本文件中解析数据

文本文件中的数据如下所示：