机器学习实战（一）：K-近邻算法（史上最全干货） 算法总结+案例实战

一、k-近邻算法

1. k-近邻法简介
k近邻法(k-nearest neighbor, k-NN)是1968年由Cover THart 提出的一种基本分类与回归方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

注意： k-近邻法不具有显式的学习过程，它实际上是利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”.其中K值的选取、距离度量及分类决策规则是k近邻算法的三个基本要素。

2. k近邻算法的数学语言表达：

3. k近邻算法中k值的选取标准：

4. 在k近邻算法中的距离度量公式如下图所示：

5. k-近邻算法中的分类决策规则

6. K近邻算法的一般流程

1. 计算已知类别数据集中的点与当前点之间的距离；
2. 按照距离递增次序排序；
3. 选取与当前点距离最小的k个点；
4. 确定前k个点所在类别的出现频率；
5. 返回前k个点出现频率最高的类别作为当前点的预测分类

二、k-近邻算法案列实战：实现电影分类

本次案例主要是使用k-近邻算法来对电影进行分类。这里我们主要将电影分为两种：爱情片和动作片。根据电影中出现的打斗和接吻镜头来进行判定。本案例所使用的距离度量为欧氏距离。

1. 准备数据集
   
   结果显示：
   
2. 根据欧式距离公式，计算距离，选择距离最小的前k个点。根据你输入的电影数据信息，程序返回分类结果。
   程序代码如下：

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndices = distances.argsort()
    classCount = {
   }
    for i in range(k):
        voteIlabel = labels[sortedDistIndices[i]]
        classCount[voteIlabel] = classCount<