k-近邻算法【鸢尾花分类】

最新推荐文章于 2024-05-14 14:50:41 发布

Vincy_King

最新推荐文章于 2024-05-14 14:50:41 发布

阅读量3.2k

点赞数 1

分类专栏：机器学习文章标签： kNN k-近邻算法机器学习

本文链接：https://blog.csdn.net/qq_42801194/article/details/100632852

版权

机器学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

k-近邻算法【鸢尾花分类】

工作原理

存在一个样本数据集合，也称做训练样本集，并且样本集中每个数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据猴，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

属性

优点：精度高、对异常值不敏感、无数据输入限定
缺点：计算复杂度高，空间复杂度高；k-近邻算法必须保存全部数据集，如果训练数据集的很大，必须使用大量的存储空间。此外，由于必须对数据集中的每个数据计算距离值，实际使用时可能非常耗时。k-近邻算法的另一个缺陷是它无法给出任何数据的基础结构信息，因此我们业无法知晓平均实例样本和典型实例样本具有什么特征，我们可以使用概率测量方法处理分类问题。
使用数据范围：数值型和标称型

一般流程

收集数据：可以使用任何方法
准备数据：距离计算所需要的数值，最好是结构化的数据格式
分析数据：可以使用任何方法
训练算法：此步骤不适用于k-近邻算法
测试算法：计算错误率
使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处

实施

对未知类别属性的数据集中的每个点一次执行以下操作：

计算已知类别数据集中的点与当前点之间的距离
按照距离递增次序排序
选取与当前点距离最小的k个点
确定前k个点躲在类别的出现频率
返回前k个点出现频率最高的类别作为当前点的预测分类

功能：kNN核心算法
intX - 输入向量，dataSet - 输入训练样本集，labels - 标签向量，k表示用于选择最近邻居的数目，其中标签向量的元素数目和矩阵dataSet的行数相同

def classify0(inX,dataSet,labels,k):
	#欧式距离的计算
    print(inX.shape[0])#数据的行数
    print("----------")
    print(dataSet.shape[0])
    dataSetSize=dataSet.shape[0]
    diffMat= np.tile(inX, (dataSetSize, 1)) - dataSet #将输入向量inX纵向重复dataSet的行数次
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)# 每行数据相加
    distances=sqDistances**0.5#得到训练样本集每一点与当前点的距离
    sortedDistIndicies=distances.argsort()
    classCount={}
    for i in range(k):
        votaIlabel=labels[sortedDistIndicies[i]]#最近K个的距离对应的类别
        classCount[votaIlabel]=classCount.get(votaIlabel,0)+1#类别分别出现的概率
    sortedClassCount=sorted(classCount.items(),
    key=operator.itemgetter(1),reverse=True)#选择发生频率最高的元素标签
    return sortedClassCount[0][0]

鸢尾花分类

流程

收集数据：提供文本文件或者直接运用python中的数据集
准备数据：使用python解析文本文件
分析数据：使用Matplotlib画二维扩散图
训练算法：此步骤不适用于k-近邻算法
测试算法：有规律或随机地使用样本数据作为测试样本。测试样本和非测试样本的区别在于：测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。
使用算法：产生简单的命令行程序，然后我们可以输入一些特征数据以判断鸢尾花的类型

1.准备数据：文本转换

def file2matrix(filename):
    fr = open(filename)
    arrayOLines = fr.readlines()
    numberofLines = len(arrayOLines) #计算文件总行数
    returnMat = np.zeros((numberofLines,4))
    #np.zeros((m,n)) 创建m行，n列的由0填充的矩阵
    classLabelVector = []
    index = 0
    #这里改了一改，发现机器学习书里代码有问题
    for line in arrayOLines:
        line = line.strip()
        #以逗号为分割点
        listFromLine = line.split(",")
        #有四个数据
        returnMat[index,:] = listFromLine[0:4]
        #将标签转换为数字便于记录
        if listFromLine[-1] == "Iris-setosa":
            classLabelVector.append(int(1))
        elif listFromLine[-1] == "Iris-versicolor":
            classLabelVector.append(int(2))
        elif listFromLine[-1] == "Iris-virginica":
            classLabelVector.append(int(3))
        index +=1
    return returnMat,classLabelVector

2.分析数据：使用Matplotlib创建散点图

 fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(datingDataMat[:, 0], datingLabels)
    ax.scatter(datingDataMat[:, 1], datingLabels)
    ax.scatter(datingDataMat[:, 2], datingLabels)
    ax.scatter(datingDataMat[:, 3], datingLabels)
    plt.show()

3.准备数据：归一化数值

在处理不同取值范围的特征值时，我们通常采用的方法是将数值归一化，比如将取值范围处理为到1或者-1到1之间。下面公式可以将任意取值范围的特征值

newValue=(oldValue-min)/(max-min)

def autoNorm(dataSet):
    minVals=dataSet.min(0)#取列值的最小值
    maxVals=dataSet.max(0)#取列值的最大值
    ranges=maxVals-minVals
    normDataSet=np.zeros(np.shape(dataSet))
    m=dataSet.shape[0]
    normDataSet=dataSet-np.tile(minVals,(m,1))
    normDataSet=normDataSet/np.tile(ranges,(m,1))
    return normDataSet,ranges,minVals

4.测试算法：作为完整程序验证分类器

首先使用file2matric和autoNorm（）函数从文件中读取数据并将其转换为归一化特征值。接着九三测试向量的数量，此步决定了normMat向量中哪些数据用于测试，哪些数据用于分类器的训练样本；然后将着两部分数据输入到原始kNN分类器函数classify0。最后，函数计算错误率并输出结果。注意此处我们使用原始分类器。

def datingClassTest():
  hoRatio = 0.10
  datingDataMat,datingLabels=file2matrix('iris.txt')
  normMat,ranges,minVals=autoNorm(datingDataMat)
  m=normMat.shape[0]
  numTestVecs=int(m*hoRatio)
  errorCount=0.0

  for i in range(1,10):
      classifierResult=classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
      print("the classifier came back with:%d,the real answer is:%d"%(classifierResult,datingLabels[i]))
      if(classifierResult!=datingLabels[i]):errorCount+=1.0
  		    print("the total error rate is %f"%(errorCount/float(numTestVecs)))

5.使用算法：构建完整可用体系

下列程序清单中的大部分代码我们在前面都见到过，唯一新加入的代码是函数raw_input()。该函数允许用户输入文本行命令并返回用户所输入的命令。

def classifyPerson():
    resultList = ['Iris-setosa','Iris-versicolor','Iris-virginica']
    sl = float(raw_input("how long:"))
    sw = float(raw_input("how width:"))
    pl = float(raw_input("how edge long:"))
    pw = float(raw_input("how edge width:"))
    datingDataMat,datingLabels = file2matrix('iris.txt')
    normMat,ranges,minVals=autoNorm(datingDataMat)
    inArr = np.array([sl,sw,pl,pw])
    classifierResult = classify0((inArr-minVals)/ranges,normMat,datingLabels,3)
    print("the result is "+(resultList[classifierResult-1]))

完整代码1【十折交叉验证法】

以下代码运用了十折交叉验证法，它将数据集分成十份，轮流将其中9份做训练1份做测试，10次结果的均值作为对算法精度的估计

import operator
import numpy as np
import matplotlib
import matplotlib.pyplot as plt

#k-近邻算法
from pip._vendor.distlib.compat import raw_input


def classify0(inX,dataSet,labels,k):
    print(inX.shape[0])
    print("----------")
    print(dataSet.shape[0])
    dataSetSize=dataSet.shape[0]
    diffMat= np.tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)
    distances=sqDistances**0.5
    sortedDistIndicies=distances.argsort()
    classCount={}
    for i in range(k):
        votaIlabel=labels[sortedDistIndicies[i]]
        classCount[votaIlabel]=classCount.get(votaIlabel,0)+1
    sortedClassCount=sorted(classCount.items(),
    key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

#文件转换
def file2matrix(filename):
    fr = open(filename)
    arrayOLines = fr.readlines()
    numberofLines = len(arrayOLines) #计算文件总行数
    returnMat = np.zeros((numberofLines,4))
    #np.zeros((m,n)) 创建m行，n列的由0填充的矩阵
    classLabelVector = []
    index = 0
    #这里改了一改，发现机器学习书里代码有问题
    for line in arrayOLines:
        line = line.strip()
        listFromLine = line.split(",")
        returnMat[index,:] = listFromLine[0:4]
        if listFromLine[-1] == "Iris-setosa":
            classLabelVector.append(int(1))
        elif listFromLine[-1] == "Iris-versicolor":
            classLabelVector.append(int(2))
        elif listFromLine[-1] == "Iris-virginica":
            classLabelVector.append(int(3))
        index +=1
    return returnMat,classLabelVector

#归一化数值
def autoNorm(dataSet):
    minVals=dataSet.min(0)
    maxVals=dataSet.max(0)
    ranges=maxVals-minVals
    normDataSet=np.zeros(np.shape(dataSet))
    m=dataSet.shape[0]
    normDataSet=dataSet-np.tile(minVals,(m,1))
    normDataSet=normDataSet/np.tile(ranges,(m,1))
    return normDataSet,ranges,minVals

def classifyPerson():
    resultList = ['Iris-setosa','Iris-versicolor','Iris-virginica']
    sl = float(raw_input("how long:"))
    sw = float(raw_input("how width:"))
    pl = float(raw_input("how edge long:"))
    pw = float(raw_input("how edge width:"))
    datingDataMat,datingLabels = file2matrix('iris.txt')
    normMat,ranges,minVals=autoNorm(datingDataMat)
    inArr = np.array([sl,sw,pl,pw])
    classifierResult = classify0((inArr-minVals)/ranges,normMat,datingLabels,3)
    print("the result is "+(resultList[classifierResult-1]))


#分类器测试代码
def datingClassTest():
    hoRatio = 0.10
    datingDataMat,datingLabels=file2matrix('iris.txt')
    normMat,ranges,minVals=autoNorm(datingDataMat)
    m=normMat.shape[0]
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(datingDataMat[:, 0], datingLabels)
    ax.scatter(datingDataMat[:, 1], datingLabels)
    ax.scatter(datingDataMat[:, 2], datingLabels)
    ax.scatter(datingDataMat[:, 3], datingLabels)
    plt.show()

    numTestVecs=int(m*hoRatio)
    errorCount=0.0
    #功能：十折交叉验证
	#思路：将数据集分成十份，轮流将其中9份做训练1份做测试，10次结果的均值作为对算法精度的估计
	#一般还要进行多次10倍交叉验证
    for i in range(1,11):
        classifierResult=classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
       # print("the classifier came back with:%d,the real answer is:%d"%(classifierResult,datingLabels[i]))

        if(classifierResult!=datingLabels[i]):errorCount+=1.0
    print("the total error rate is %f"%(errorCount/float(numTestVecs)))


if __name__ == '__main__':
     datingClassTest()
	classifyPerson()

【随机测试】

datingClassTest()修改如下：

def datingClassTest():
    hoRatio = 0.10
    filepath = 'iris.txt'  # 数据文件路径
    data = np.loadtxt(filepath, delimiter=',', dtype=float, converters={4: iris_type})
    x, y = np.split(data, (4,),axis=1)
    y = [int(n) for a in y for n in a]
    y = np.array(y)
    x_train, x_test, y_train, y_test = train_test_split(x, y,test_size=0.8, random_state=0)
    datingDataMat=x_train
    datingLabels=y_test
    normMat,ranges,minVals=autoNorm(datingDataMat)
    nnormMat, rranges, mminVals = autoNorm(x_test)

    m=normMat.shape[0]

    numTestVecs=int(m*hoRatio)
    errorCount=0.0

    for i in range(1,3):
        classifierResult=classify0(nnormMat[i,:],normMat[1:,:],datingLabels[1:],3)
       # print("the classifier came back with:%d,the real answer is:%d"%(classifierResult,datingLabels[i]))

        if(classifierResult!=y_train[i]):errorCount+=1.0
    print("the total error rate is %f"%(errorCount/float(numTestVecs)))
    print(datingLabels[1:])

Vincy_King

关注

1
点赞
踩
31

收藏

觉得还不错? 一键收藏
0
评论
k-近邻算法【鸢尾花分类】

k-近邻算法工作原理属性一般流程实施工作原理存在一个样本数据集合，也称做训练样本集，并且样本集中每个数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据猴，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就...
复制链接

扫一扫