python K-近邻分类器

最新推荐文章于 2022-03-14 21:00:29 发布

luiyezheng

最新推荐文章于 2022-03-14 21:00:29 发布

阅读量1.2k

点赞数

分类专栏： python machine learning 文章标签：机器学习 python numpy

本文链接：https://blog.csdn.net/qq_30185271/article/details/48521857

版权

本文详细介绍了如何使用Python构建一个基本的K-近邻分类器，结合《机器学习实战》中的约会对象分类问题，探讨了K值对分类结果的影响。作者通过自定义函数分析了不同K值下的误差率，发现K值在7附近时误差率最低。文章还解析了Python中shape、tile、sum、argsort等函数的用法，并提供了排序技巧，包括key参数的使用和operator模块的功能。

摘要由CSDN通过智能技术生成

python K-近邻分类器

通过python构建一个基本的近邻分类器。在这个例子中（案例来源：《机器学习实战》），我们希望帮助海伦在约会网站上找到自己合适的约会对象。凯伦的约会对象有三类人，分别是极具魅力的人，魅力一般的人，和不喜欢的人。海伦总共收集了一千组数据，每个数据占一行，每行数据有三个特征。

代码如下：

# -*- coding: utf-8 -*-
from numpy import *
import operator
import matplotlib
import matplotlib.pyplot as plt
import pylab

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels=['A','A','B','B']
    return group,labels
def classify0(inX,dataSet,labels,k):
    dataSetSize=dataSet.shape[0]
    diffMat=tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)
    distances=sqDistances**0.5
    sortedDistIndices=distances.argsort()#将距离数组从小到大进行index排序
    classCount={}
    for i in range(k):
        voteIlabel=labels[sortedDistIndices[i]]#获取前K个标签
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1#对前K个标签出现次数分别加总
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)#对前K个标签出现次数进行排序
    return sortedClassCount[0][0]#返回出现次数最多标签的标签类
def file2matrix(filename):#将原txt文本中的数据存储到矩阵中
    
    fr=open(filename)
    #arrayexp=fr.readline().strip().split('\t')
    #numpara=len(arrayexp)
    arrayOLines=fr.readlines()
    numberOfLines=len(arrayOLines)
    returnMat=zeros((numberOfLines,3))
    classLabelVector=[]
    index=0
    for line in arrayOLines:
        line=line.strip()
        listFromLine=line.split('\t')
        returnMat[index,:]=listFromLine[0:3]
        classLabelVector.append(int(listFromLine[-1]))#负索引，很有实用意义
        index +=1
    return returnMat,classLabelVector

#fig=plt.figure(1)
#ax=fig.add_subplot(111)
#ax.scatter(datingDataMat[:,1],datingDataMat[:,2])

def autoNorm(dataSet):#特征值的归一化
    minVal=dataSet.min(0)
    maxVal=dataSet.max(0)
    ranges=maxVal-minVal
    normDataSet=zeros(shape(dataSet))
    m=dataSet.shape[0]
    normDataSet=dataSet-tile(minVal,(m,1))
    normDataSet=dataSet/tile(ranges,(m,1))
    return normDataSet,ranges,minVal
    
def datingClassTest(kvalue):#对测试集运行分类器
    hoRatio = 0.50     #hold out 10%
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')       #load data setfrom file
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):