k-近邻算法

简介

 k-近邻算法（k-Nearest Neighbour algorithm），又称为KNN算法，是数据挖掘技术中原理最简单的算法。KNN
的工作原理：给定一个已知标签类别的训练数据集，输入没有标签的新数据后，在训练数据集中找到与新数据最邻
近的k个实例，如果这k个实例的多数属于某个类别，那么新数据就属于这个类别。可以简单理解为：由那些离X最
近的k个点来投票决定X归为哪一类。

代码实现

import pandas as pd

def classify(x, dataset, k):

    """
        函数功能：knn分类器
        参数说明：
                x:需要预测分类的数据集，形式为(x1,x2,...xn)
                dataset:已知分类标签的数据集（训练集），形式为(x1,x2,...xn,标签)
                k:k近邻算法参数，选取距离最小的k个点
        返回：  resul:分类结果
    """

    dataset = pd.DataFrame(dataset)
    list = ((dataset.iloc[:, :-1] - x) ** 2).sum(1)  #求出所有训练集的坐标与x的距离，也可以不开方
    z = pd.concat([list, dataset.iloc[:, -1]], axis=1).sort_values(by=0)[:k].iloc[:, -1].value_counts()  #选取距离最小的前k个样本点的标签，并统计数目
    result = z.index[0]  #选取数目最高的类别作为x的预测类别
    return result