机器学习实战-使用KNN改进约会网站的配对效果-python3代码

最新推荐文章于 2021-10-03 19:57:10 发布

酒中醉去梦中来

最新推荐文章于 2021-10-03 19:57:10 发布

阅读量247

点赞数

分类专栏：机器学习实战

本文链接：https://blog.csdn.net/honest_boy/article/details/90375903

版权

机器学习实战专栏收录该内容

3 篇文章 0 订阅

订阅专栏

k近邻算法的基本原理：即KNN，是一个林轮上比较成熟的算法，也是最简单的机器学习算法之一。如果一个样本在特征空间中的k个最为相似的样本中的大多数属于某一个类别，则该样本也数据这个类别。给定一个数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类别，就把该输入实例分类到这个类中。
k近邻算法的优点：
1.简单，易于理解，易于实现，，无需参数估计，无需训练。
2.对异常值不敏感
3.适合对西游世界安进行分类
4.适合于多分类问题
k近邻算法的缺点：
1.对测试样本分类时对计算量大，内存开销大
2.可解释性差，无法告诉你哪个变量更重要，无法给出决策树那样的规则
3.k值的选择最大的缺点是当样本不平衡时，如果一个类的样本容量很大，而其他类的样本容量很小，有可能导致当输入一个新样本时，该样本的k个邻居中大容量类的样本占多数
4.k近邻算法是一种消极学习算法，懒惰算法。

机器学习实战课本是基于python2的所以有一些属性不存在了。

from numpy import *
import matplotlib
import matplotlib.pyplot as plt
import operator

def file2matrix(filename):
    fr=open(filename)
    arrayOLines=fr.readlines()
    numberOfLines=len(arrayOLines)
    returnMat=zeros((numberOfLines,3))
    classLabelVector=[]
    index=0
    for line in arrayOLines:
        line=line.strip()
        listFromLine=line.split('\t')
        returnMat[index,:]=listFromLine[0:3]
        classLabelVector.append(int (listFromLine[-1]))
        index+=1
    return returnMat,classLabelVector 

def autoNorm(dataSet):
    minVals=dataSet.min(0)
    maxVals=dataSet.max(0)
    ranges=maxVals-minVals
    normDataSet=zeros(shape(dataSet))
    m=dataSet.shape[0]
    normDataSet=dataSet-tile(minVals,(m,1))
    normDataSet=normDataSet/tile(ranges,(m,1))
    return normDataSet,ranges,minVals

def classify0(inX,dataSet,labels,k):
    dataSetSize=dataSet.shape[0]
    diffMat=tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)
    distances=sqDistances**0.5
    sortedDistIndicies=distances.argsort()
    classCount={}
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
    sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

def datingClassTest():
    hoRatio=0.10
    datingDataMat,datingLabels=file2matrix('../datingTestSet2.txt')
    normMat,ranges,minVals=autoNorm(datingDataMat)
    m=normMat.shape[0]
    numTestVecs=int(m*hoRatio)
    errorCount=0.0
    for i in range(numTestVecs):
        classifierResult=classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
        print( '分类结果是%d,真实结果是%d'%(classifierResult,datingLabels[i]))
        if(classifierResult!=datingLabels[i]):
            errorCount+=1.0
            #print(errorCount)
    print('错误率是%f'%(errorCount/float(numTestVecs)))