第二章 K-近邻算法

KNN近邻算法

• 优点：精度高，对异常值不敏感，无数据输入假定
• 缺点：计算复杂度高，空间复杂度高
• 适用数据范围：数值型和标称型

步骤：
1）收集数据
2）准备数据
3）分析数据
4）训练数据
5）测试算法
6）适用算法

对未知类别属性的数据集中的每个点一次执行以下操作：
1）计算一直类别数据集中的点与当前点之间的距离
2）按照距离递增次序排序
3）选取与当前点距离最小的k个点
4）确定前k个点所在类别出现的频率
5）返回前k个点出现频率最高的类别作为当前点的预测分类

kNN.py文件代码

#coding:utf-8
from numpy import *;#引入科学计算包
import operator    #引入科学计算包

#创建数据集
#dataSet：训练样本集
#labels:标签向量
def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0.0,0.0],[0.0,0.1]])
    labels = ['A','A','B','B']
    return group, labels

Classify.py文件代码

# -*- coding: utf-8 -*-
from numpy import * #引入科学计算包
import operator    #引入科学计算包

#分类算法核心
#inX：用于分类的输入向量。即将对其进行分类。
#dataSet：训练样本集
#labels:标签向量
#k:选取的离当前点距离最短的点个数k
def classify0(inX, dataSet,labels,k):
    dataSetSize = dataSet.shape[0]  #得到数组的行数。即知道有几个训练数据
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet  # tile:numpy中的函数。tile将原来的一个数组，扩充成了4个一样的数组。diffMat得到了目标与训练数值之间的差值。
    sqDiffMat = diffMat ** 2  # 各个元素分别平方
    sqDistances = sqDiffMat.sum(axis=1)  # 一位数组相加，即得到了每一个距离的平方
    distances = sqDistances ** 0.5  # 开方，得到距离。
    sortedDistIndicies = distances.argsort()  # 升序排列返回对应的原始位置值
    # 选择距离最小的k个点。
    classCount = {} #定义字典
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1  #dict.get(key,defautNoneReturnValue)
    # 排序
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)  #第一个属性是字典迭代 key是定义比较的维度 比较第1维度的值大小 reverse是排序方式 false默认为生序排序 True为降序排序
    return sortedClassCount[0][0] #返回目标标签中和目标向量最近的k个值对应的标签出现频率最大的值作为预测值

测试调用class2Test.py文件

import kNN
import Classify
group,labels = kNN.createDataSet()
inX =[0.0,0.0]
result = Classify.classify0(inX,group,labels,2)
print result

---

案例：使用k-近邻算法改进约会网站的配对效果