K-近邻算法概述
简单地说,**k-近邻算法采用测量不同特征值之间的距离的方法进行分类。他的优点是精度高、对异常值不敏感、无数据输入设定。缺点是计算复杂度高、空间复杂度高。**使用数据范围为:数值型和标称型。
k-近邻算法(kNN)的工作原理是:存在一个样本数据集合,也称作训练样本集,并且样本集合中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,**将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似数据的数据,**这就是k-近邻算法中k的出处,**通常,k是不大于20的整数。**最后,选择k个最相似的数据中出现的次数最多的分类,作为新数据的分类。
k-近邻算法的一般流程
- 收集数据: 可以使用任何方法
- 准备数据:距离计算所需要的数值,最好是结构化的数据格式
- 分析数据:可以使用任何方法
- 训练算法:此步骤不适合k-近邻算法
- 测试算法:计算错误率
- 使用算法:首先需要输入样本数据和结构化的输出结果。然后运行k-近邻算法判定输入数据分别属于哪个分类,最后应用对计算出的分类执行后续的处理。
k-近邻算法的实施
对未知类别属性的数据集中的每个点依次执行以下操作:
- 计算已知类别数据集中的点中的每个点与当前点之间的距离
- 按照距离递增次序排序
- 选取与当前距离最小的k个点
- 确定前k个点所在类别的出现频率
- 返回前k个点出现频率最高的类别作为当前点的预测分类
点与点之间的距离的算法有很多,这里使用了欧氏距离公式:
( x A 0 − x B 0 ) 2 + ( x A 1 − x B 1 ) 2 \sqrt{(xA_0 - xB_0)^2 + (xA_1 - xB_1)^2} (xA0−xB0)2+(xA1−xB1