数据挖掘算法(一)--K近邻算法 (KNN)

数据挖掘算法学习笔记汇总
数据挖掘算法(一)–K近邻算法 (KNN)
数据挖掘算法(二)–决策树
数据挖掘算法(三)–logistic回归

算法简介

KNN算法的训练样本是多维特征空间向量,其中每个训练样本带有一个类别标签。算法的训练阶段只包含存储的特征向量和训练样本的标签。
在分类阶段,k是一个用户定义的常数。一个没有类别标签的向量(查询或测试点)将被归类为最接近该点的k个样本点中最频繁使用的一类。

一般情况下,将欧氏距离作为距离度量

d=(x1x2)2+(y1y2)2
但是这是只适用于连续变量。在文本分类这种离散变量情况下,另一个度量——重叠度量(或海明距离)可以用来作为度量。例如对于基因表达微阵列数据,k-NN也与Pearson和Spearman相关系数结合起来使用。通常情况下,如果运用一些特殊的算法来计算度量的话,k近邻分类精度可显著提高,如运用大间隔最近邻居或者邻里成分分析法。

算法流程 简述
1、计算待分类点与已知类别数据集中每个点的距离;
2、按照距离递增次序排序;
3、选取与待分类点距离最小的k个点;
4、确定前k个点类别出现的频率;
5、返回前k个点出现频率最高的类别作为当前待分类点的预测分类。

代码

主要自己利用python代码实现了一遍KNN算法,另外也使用了sklearn的neighbors进行计算,学习sklearn包怎么使用。
本文代码运行环境:
python:3.5.1
pandas:0.19.2
sklearn:0.18.1
其他环境可能有细微差别

# -*coding:utf-8*-
import numpy as np
import pandas as pd
import operator
from sklearn import neighbors


def weight(onedata):
    #作为下面的pd.read_csv的转换函数
    if onedata == 'largeDoses':
        return 3
    elif onedata == 'smallDoses':
        return 2
    else:
        return 1


def autoNorm(dataFrame):
    minValues = dataFrame.min(0)  # 获取一列的最小值
    maxValues = dataFrame.max(0)  # 获取一列的最大值
    ranges = maxValues - minValues
    m = dataFrame.shape[0]
    dataFrame = dataFrame - np.tile(minValues, (m, 1))
    dataFrame = dataFrame / np.tile(ranges, (m, 1))
    return dataFrame, ranges, minValues


def classify0(input, dataSet, labels, k):
    rowNum = dataSet.shape[0]
    diffMat = np.tile(input, (rowNum, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)  # 求每一行的和
    distances = sqDistances ** 0.5  # 计算得到欧式距离
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies.index[sortedDistIndicies.values[i]]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
        sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
        return sortedClassCount[0][0]


# 读取数据
data = pd.read_csv("./datingTestSet.txt", sep='\t', header=None, converters={3: weight})
# 归一化数据
normData, ranges, minValues = autoNorm(data.iloc[:, 0:3])
# 利用后50%作为训练数据,前50%作为测试数据
Percent = 0.50
m = normData.shape[0]
numTest = int(m * Percent)
errorCount = 0.0

for i in range(numTest):
    classifierResult = classify0(normData.iloc[i, :], normData.iloc[numTest:m, :], data.iloc[numTest:m, 3], 3)
    # print("KNN计算值: %d, 真实值: %d" % (classifierResult, data.iloc[i, 3]))
    if classifierResult != data.iloc[i, 3]:
        errorCount += 1.0
print("KNN的正确率: %f" % (1 - errorCount / float(numTest)))


clf = neighbors.KNeighborsClassifier(3)
classifierResult = clf.fit(normData.iloc[numTest:m, :], data.iloc[numTest:m, 3])
score = clf.score(normData.iloc[0:numTest, :], data.iloc[0:numTest, 3])
print("sklearn的正确率: %f"% score)

运行结果

KNN的正确率: 0.920000
sklearn的正确率: 0.936000

代码和测试数据下载地址:
链接:http://pan.baidu.com/s/1kU8rEcR 密码:w57h

参考资料:
1、《机器学习实战》
2、wiki

欢迎python爱好者加入:学习交流群 667279387

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值