【机器学习】k-近邻分类算法

一 分类

简单地说，机器学习就是把无序的数据转换成有用的信息。
机器学习可用于创建专家系统。（如识别鸟类，那就可以替代鸟类专家）

特征或属性通常是训练样本集的列，它们是独立测量得到的结果，多个特征联系在一起共同组成一个训练样本。

监督学习一般使用两种类型的目标变量：标称型和数值型。（可以理解为标称型是有限集，数值型是无限集）标称型的主要任务是分类，数值型的主要任务是回归。之所以称为监督学习，是因为这类算法必须知道预测什么。
训练样本集必须确定知道目标变量的值，以便机器学习算法可以发现特征和目标变量之间的关系。
为了测试机器学习算法的效果，通常使用两套独立的样本集：训练数据和测试数据。

无监督学习中将数据集合分成由类似的对象组成的多个类的过程称为聚类，将寻找描述数据统计值的过程称之为密度估计。无监督学习还可以减少数据特征的维度，以便我们可以用二维或三维图直观地展示信息。

Python语言唯一的不足是性能问题，运行效率不如JAVA或C/C++高。我们可以先构造可运行的Python程序，然后再逐步使用C代码替换核心代码以改进程序的性能。C++Boost库就适合完成这个任务。通过Python，我们可以快速地检验算法或思想是否正确，如果需要，再进一步优化代码。

二 k-近邻算法

任务：手写数字识别系统（识别0-9）

图像->向量，32x32->1x1024

main.py

# 手写数字识别系统
# 2022/3/7
# Jolin开始了她的机器学习之路。
from numpy import *
from os import listdir
from kNN import *
# 将32*32图像转换为1*1024的数组(或者也可以说是行向量)（数组=某一样本！）
def img2vector(filename):
    returnVect = zeros((1,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])
    return returnVect

# 手写数字识别系统的测试代码
def handwritingClassTest():
    hwLabels=[]
    trainingFileList = listdir('trainingDigits')
    m = len(trainingFileList)
    trainingMat = zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i,:]=img2vector('trainingDigits\\'+fileNameStr)
    testFileList = listdir('testDigits')
    errorCount = 0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split(".")[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('testDigits\\'+fileNameStr)
        # 放入分类器
        classifierResult = classify0(vectorUnderTest,trainingMat,hwLabels,3)
        print("分类器返回结果："+str(classifierResult)+"正确结果："+str(classNumStr))
        if(classifierResult!=classNumStr):errorCount+=1.0
    print("错误数："+str(errorCount))
    print("错误率："+str(errorCount/float(mTest)))
# main
handwritingClassTest()

kNN.py

# k-近邻算法分类器
# tile(A,[m,n]),向量A的行数重复n，列数重复m
# shape[0]矩阵行数 shape[1]矩阵列数
# sum(axis=1)矩阵每一行相加
# argsort()函数中的数据小到大排序，然后按照其索引进行从小到大排序
# d.get(‘key’,‘value’):如果字典中存在关键字key，则返回关键字对应的值；如果字典d中不存在关键字key，则返回value的值
from numpy import *
from operator import *
'''
 inX: 用于分类的输入向量
 dataSet: 输入的训练样本集
 labels: 标签向量
 k: 用于选择最近邻居的数目
'''
def classify0(inX,dataSet,labels,k):
    # 距离计算（损失函数为欧氏距离）
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat = diffMat **2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    # 选择距离最小的k个点
    sortedDistIndicies = distances.argsort()
    classCount={} # 创建字典
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
    # 排序
    sortedClassCount = sorted(classCount.items(),
                              key=itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

Python新知识

tile(A,[m,n]),向量A的行数重复n，列数重复m
shape[0]矩阵行数 shape[1]矩阵列数
sum(axis=1)矩阵每一行相加
argsort()函数中的数据小到大排序，然后按照其索引进行从小到大排序
d.get(‘key’,‘value’):如果字典中存在关键字key，则返回关键字对应的值；如果字典d中不存在关键字key，则返回value的值

import和from import的区别

参考：
https://blog.csdn.net/cainiao_python/article/details/106964674?ops_request_misc=&request_id=&biz_id=102&utm_term=python%20from%20import%E5%92%8Cimport&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-0-106964674.pc_search_result_control_group&spm=1018.2226.3001.4187

sorted排序方法的详细解释：

1. sorted高阶函数语法格式： sorted(可迭代对象,key=函数名,reverse=False/True)

   作用：从可迭代对象中，依次取出一个元素，该元素再按照key规定的排列依据排序。

   可迭代对象：即可依次取值的对象，例如：集合，序列（列表，字符串，元组），字典等。

   key : 是列表排列的依据，一般可以自定义一个函数返回排序的依据，再把函数名绑定给key。

   reverse : 译为反转，reverse默认等于False，从小到大排序。等于True时，从大到小排序。

2. 匿名函数lambda的格式： 函数名 = lambda [形参1,形参2,…] : ，返回操作语句块产生的结果并绑定给函数名。

例如： key=lambda x : x[1]

        x：相当于字典集合中的一个元组， 例：dict_items([('a', 1), ('c', 3), ('b', 2)])中的('a', 1)或('c', 3)或('b', 2)

        x[1]: 返回x中的第二个元素，即键值对元组中的值。dict_items([('a', 1), ('c', 3), ('b', 2)])中的1或2或3

注意：

（1） sorted函数中的可迭代对象不要用字典d，那样只能迭代出的字典d的键。要用d.items()才可迭代出字典的键值对。

例：不能用 d_order=sorted(d,key=lambda x:x[1],reverse=False)

        要用 d_order=sorted(d.items(),key=lambda x:x[1],reverse=False)

（2） sorted函数排好序后，要绑定一个对象(赋值)，例：d_order=sorted(d.items(),key=lambda x:x[1],reverse=False).

 因为字典是无序类型，用sorted函数排好序后不绑定d_order，字典会自动打乱顺序。