深度学习基础课程1笔记-最近邻规则分类（KNN）

本篇内容是xxxx深度学习基础课程视频上的，如有侵权，请与我联系，谢谢！

一，理论知识
1)算法描述：
A)为了判断未知实例的类别，以所有已知类别的实例作为参照
B)选择参数K
C)计算未知实例与所有已知实例的距离
D)选择最近k个已知实例
E)根据少数服从多数的投票法则，让未知实例归类为K个最近邻样本中最多数的类别
2）距离的定义：
二维点距离和以前学过的一样，多维的点以此类推

3）优点：
a) 简单，
b) 易于理解，
c) 易于实现，
d) 通过对k的选择可具备丢噪音数据的健壮性
4）缺点：
a) 需要大量空间储存所有的已知实例
b) 当其样本分布不平衡时，比如其中一类样本过大（实例数量过多）占主导的时候，新的未知实例容易被归类为这个主导样本。
如下图Y点，即使它离红色原点较近，但是由于靠近它的蓝色三角形点过于密集，运用KNN算法就会将Y点归为蓝色三角形类

5）改进版本
a) 考虑距离，根据距离加上权重，比如1/d （d:距离）

二，Python编程实现

1）举例1：判断未知电影属于什么类型？

A~F点类型已知，根据KNN算法判断G点属于什么类型的电影。过程：
A)先选择参数k（假设为3）
B)计算G点到A~F点的距离分别为

C)因为参数为3，所以选择距离最小的3个，分别为ABC三点
D)再看ABC三个电影类型，都为Romance类型
E)那么G电影类型为Romance

2)举例2：虹膜分类（Iris）

数据集有150个实例，每个数据有4个维度，分别是
萼片长度，萼片宽度，花瓣长度，花瓣宽度
类别分别是
Iris setosa,Iris versicolor,Iris virginica

a)代码，调用库实现KNN

from sklearn import neighbors  #包含邻近算法模块
from sklearn import datasets   #数据集

knn=neighbors.KNeighborsClassifier()     #调用算法分类器

iris=datasets.load_iris()    #加载数据集数据

print (iris)                 #打印数据集数据

knn.fit(iris.data,iris.target)   #建立KNN模型

predictedLabel=knn.predict([[0.1,0.2,0.3,0.4]])   #新的待分类数据

print (predictedLabel)     #打印分类结果

b）结果

上面的1*4维数据是原始数据集，0，1，2矩阵表示这些数据分为3类
最后的0表示待分类数据被分为第0类

3）不调用库，自己编程实现KNN算法
a)前期需要下载Iris数据集数据，以txt格式保存到本地
b)自己编写实现代码:

import csv        #加载csv文件
import random     #产生随机数
import math       #数学库
import operator


def loadDataset(filename,split,trainingSet=[],testSet=[]):   #加载数据，将数据分为训练集和测试集
    with open(filename,'rt') as csvfile:   #打开csv文件
        lines=csv.reader(csvfile)          #读取csv文件数据
        dataset=list(lines)                #转化数据类型
        for x in range(len(dataset)-1):    #x行
            for y in range(4):             #4列
                dataset[x][y]=float(dataset[x][y])
            if random.random() < split:       #产生0-1的随机数，小于split则放入训练集
                trainingSet.append(dataset[x])   #数据放入训练集
            else:
                testSet.append(dataset[x])    #数据放入测试集

def euclideanDistance(instance1,instance2,length):   #计算多维度距离
    distance=0
    for x in range(length):
        distance += pow((instance1[x]-instance2[x]),2)
    return math.sqrt(distance)

def getNeighbors(trainingSet,testInstance,k):     #获取前k个数据
    distances=[]
    length=len(testInstance)-1
    for x in range(len(trainingSet)):
        dist=euclideanDistance(testInstance,trainingSet[x],length)
        distances.append((trainingSet[x],dist))
    distances.sort(key=operator.itemgetter(1))
    neighbors=[]
    for x in range(k):
        neighbors.append(distances[x][0])
    return neighbors

def getResponse(neighbors):                 #返回分类结果
    classVotes={}
    for x in range(len(neighbors)):
        response=neighbors[x][-1]
        if response in classVotes:
            classVotes[response]+=1
        else:
            classVotes[response]=1
    sortedVotes=sorted(classVotes.items(),key=operator.itemgetter(1),reverse=True)
    return sortedVotes[0][0]

def getAccuracy(testSet,predictions):          #测试集返回正确率
    correct=0
    for x in range(len(testSet)):
        if testSet[x][-1]==predictions[x]:
            correct+=1
    return (correct/float(len(testSet)))*100.0

def main():    #主函数
     trainingSet=[]     #训练集
     testSet=[]         #测试机
     split=0.67         #对原始数据分割，67%分为训练集
     loadDataset(r'E:\sxl_Programs\Python\Iris.txt',split,trainingSet,testSet)   #读取数据集
     print('Train set:'+ repr(len(trainingSet)))    #打印训练集
     print('Test set:' + repr(len(testSet)))  #打印测试集

     predictions=[]
     k=3     #确定k为3
     for x in range(len(testSet)):
         neighbors=getNeighbors(trainingSet,testSet[x],3)  #对当前测试集，计算它与所有训练集的距离，并返回值最小的前三个数据
         result=getResponse(neighbors)     #返回分类结果
         predictions.append(result)   #将分类结果存入列表
         print('>predicted'+repr(result)+',actual='+repr(testSet[x][-1]))   #打印结果
     accuracy=getAccuracy(testSet,predictions)  #测试集返回正确率
     print('Accuracy:'+repr(accuracy)+'%')

main()   #执行main()函数

c)结果

欢迎扫码关注我的微信公众号