机器学习实验一

机器学习实验一 k近邻算法

---

一、k近邻算法的基本原理

简单地说，k近邻算法采用测量不同特征值之间的的距离方法进行分类。在特征空间中，如果一个样本附近的k个最近(即特征空间中最邻近)样本的大多数属于某一个类别，则该样本也属于这个类别。

二、k近邻算法的一般流程

1.收集数据：可以使用任何方法
2.准备数据：距离计算所需要的数值，最好是结构化的数据格式
3.分析数据：可以使用任何方法
4.训练算法：此步骤不适用于k近邻算法
5.测试算法：计算错误率
6.使用算法：首先输入样本数据和结构的输出结果，然后运行k近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

三、k近邻算法的优缺点

1.优点

k-近邻算法是一种非常典型的分类监督学习算法，它可以解决多分类的问题；另外，它的整体思想简单，效果强大。

2.缺点

KNN 分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为 n， 那么 KNN 的分类时间复杂度为O(n)。
该方法的另一个不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。

四、算法实例一 改进约会网站的配对效果

1.代码示例

# k-近邻算法
from numpy import *
import operator

def classify0(inX, dataSet, labels, k):  # 输入向量，训练数据，标签，参数k
    dataSetSize = dataSet.shape[0]  # 数据个数
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet  # tile函数，求输入数据与训练数据对应值的相减
    sqDiffMat = diffMat ** 2  # 平方
    sqDistances = sqDiffMat.sum(axis=1)  # 求和
    distances = sqDistances ** 0.5  # 开根号
    sortedDistIndicies = distances.argsort()  # 返回数组值从小到大的索引
    classCount = {}  # 创建一个字典，用于记录每个实例对应的频数
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]  # 选择k个距离最小的点，对应标签
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1  # 统计频数
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)  # 排序，reverse=True降序
    # python2中用iteritems
    return sortedClassCount[0][0]  # 返回最多的
# 将文本记录转换为Numpy
def file2matrix(filename):
    fr = open(filename)  # 打开文件
    arrayOLines = fr.readlines()
    numberOfLines = len(arrayOLines)  # 得到文件行数
    returnMat = zeros((numberOfLines, 3))  # 创建0填充的Numpy矩阵
    classLabelVector = []  # 创建空列表
    index = 0
    for line in arrayOLines:  # 循环处理文件中的每行数据
        line = line.strip()  # 使用strip函数，截取掉所有的回车字符
        listFromLine = line.split('\t')  # 将上一步得到的整行数据分割成一个元素列表
        returnMat[index, :] = listFromLine[0:3]  # 选取前3个元素，形成特征矩阵
        classLabelVector.append(int(listFromLine[-1]))  # 索引值-1选取列表中的最后一列，将其存储到classLabelVector中（必须明确告知存储元素值为整型）
        index += 1
    return returnMat, classLabelVector


# 测试
datingDataMat, datingLabels = file2matrix('D:/桌面/总/机器学习/machinelearninginaction/Ch02/datingTestSet2.txt')



# 归一化特征值
def autoNorm(dataSet):
    minVals = dataSet.min(0)  # 最小值 参数0是的函数可以从列中选取最小值
    maxVals = dataSet.max(0)  # 最大值
    ranges = maxVals - minVals  # 取值范围
    normDateSet = zeros(shape(dataSet))  # 创建与dataSet同型的0填充矩阵
    m = dataSet.shape[0]  # 每列数据个数
    normDateSet = dataSet - tile(minVals, (m, 1))  # 每列原来的数据减去没列最小值
    normDateSet = normDateSet / tile(ranges, (m, 1))  # 除以取值范围
    return normDateSet, ranges, minVals


# 测试
normMat, ranges, minVals = autoNorm(datingDataMat)


# 分类器针对约会网站的测试代码
def datingClassTest():
    hoRatio = 0.10
    datingDataMat, datingLabels = file2matrix('D:/桌面/总/机器学习/machinelearninginaction/Ch02/datingTestSet2.txt')  # 读取数据
    normMat, ranges, minVals = autoNorm(datingDataMat)  # 归一化处理
    m = normMat.shape[0]
    numTestVecs = int(m * hoRatio)  # 用于测试的数据
    errorCount = 0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)  # 分类函数
        print("the classifier came back with : %d, the real answer is : %d" % (classifierResult, datingLabels[i]))
        if (classifierResult != datingLabels[i]):
            errorCount += 1
    print("the total error rate is : %f" % (errorCount / float(numTestVecs)))


# 测试
datingClassTest()


# 约会网站预测函数
def classifyPerson():
    resultList = ['不喜欢的人', '魅力一般的人', '极具魅力的人']
    percentTats = float(input("玩视频游戏所耗时间百分比："))
    ffMiles = float(input("每年获得的飞行常客里程数："))
    iceCream = float(input("每年消费冰淇淋公升数："))
    datingDataMat, datingLabels = file2matrix("D:/桌面/总/机器学习/machinelearninginaction/Ch02/datingTestSet2.txt")
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = array([ffMiles, percentTats, iceCream])
    classifierResult = classify0((inArr - minVals) / ranges, normMat, datingLabels, 3)
    print("你对这个人的印象是：", resultList[classifierResult - 1])


# 测试
classifyPerson()

2.测试结果

五、算法实例二 手写字识别

1.代码示例

from numpy import *  # 科学计算包Numpy
import operator  # 运算符模块
import os


# k-近邻算法
def classify0(inX, dataSet, labels, k):  # 输入向量，训练数据，标签，参数k
    dataSetSize = dataSet.shape[0]  # 数据个数
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet  # tile函数，求输入数据与训练数据对应值的相减
    sqDiffMat = diffMat ** 2  # 平方
    sqDistances = sqDiffMat.sum(axis=1)  # 求和
    distances = sqDistances ** 0.5  # 开根号
    sortedDistIndicies = distances.argsort()  # 返回数组值从小到大的索引
    classCount = {}  # 创建一个字典，用于记录每个实例对应的频数
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]  # 选择k个距离最小的点，对应标签
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1  # 统计频数
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)  # 排序，reverse=True降序
    # python2中用iteritems
    return sortedClassCount[0][0]  # 返回最多的
# 手写识别系统

# 将图像格式转化为向量 32*32 --> 1*1024
def img2vector(filename):
    returnVect = zeros((1, 1024)) # 创建1*1024的0填充向量矩阵
    fr = open(filename) # 打开文件
    for i in range(32): # 读取文件的前32行，前32列
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0, 32 * i + j] = int(lineStr[j])
    return returnVect # 返回每个图像的向量


testVector = img2vector('D:/桌面/总/机器学习/machinelearninginaction/Ch02/digits/trainingDigits/0_13.txt')
print(testVector[0, 0:31])
print(testVector[0, 32:63])


# 手写数字识别系统的测试代码
def handwritingClassTest():
    hwLabels = []
    trainingFileList = os.listdir('D:/桌面/总/机器学习/machinelearninginaction/Ch02/digits/trainingDigits') # 获取目录内容
    m = len(trainingFileList)
    trainingMat = zeros((m, 1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('D:/桌面/总/机器学习/machinelearninginaction/Ch02/digits/trainingDigits/%s' % fileNameStr)
    testFileList = os.listdir('D:/桌面/总/机器学习/machinelearninginaction/Ch02/digits/trainingDigits')
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('D:/桌面/总/机器学习/machinelearninginaction/Ch02/digits/trainingDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print("预测结果为：%d，真实值为：%d" % (classifierResult, classNumStr))
        if (classifierResult != classNumStr):
            errorCount += 1.0
    print("预测错误的总数为：%d" % errorCount)
    print("手写数字识别系统的错误率为：%f" % (errorCount / float(mTest)))


# 测试手写数字识别系统
handwritingClassTest()

2.测试结果