假期开始学习Peter Harrington的《机器学习实战》一书,为督促自己学习,同时也分享一下经历,打算开始写下这一系列文章记录。
kNN算法,也是k-邻近算法,是一个分类算法,该算法的思想也比较简单,我们事先知道一些数据,也知道每条数据对应的分类关系,输入没有分类的新数据后,将新数据与已知数据中的每条数据进行比较,选择k个与之最相似(距离最近)的样本,新数据分类与这k个样本中多数类别相同,通常k值位于20以内。
kNN算法的一般流程如下:
1、收集数据;
2、准备数据:将数据以自己需要的格式进行准备;
3、分析数据:通过画图等一系列手段分析数据,查看大概规律等;
4、训练算法:kNN算法属于惰性学习,没有显示学习过程;
5、测试算法:用测试集测试,计算错误概率,更改参数,减小错误率;
6、使用算法。
根据一个手写识别系统的例子来说明以上步骤:
根据提供的图像文本,根据kNN算法分类,识别出是哪一个数字,因为数据集只有0~9,因此也只能识别0~9,需要识别的图像已经处理为黑白图像,如下所示:
图像为32*32的黑白图像,需要转化为1*1024的向量,编写下面函数进转化:
def img2vector(filename):
returnVect = zeros((1, 1024))
fr = open(filename)
for i in range(32):
lineStr = fr.readline()
for j in range(32):
returnVect[0, 32*i+j] = int(lineStr[j])
return returnVect
编写kNN算法实现代码,需要numpy库进行一系列矩阵运算,需要operator库进行迭代器参数输入,如下:
def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]
diffMat = tile(inX, (dataSetSize, 1)) - dataSet
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances ** 0.5
sortedDistIndicies = distances.argsort()
classCount = {}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
编写算法测试代码,用测试数据集对算法进行测试,需要os库进行目录操作,如下:
def handwriteClassTest():
hwLabels = []
k = 5
trainFileList = listdir('trainingDigits')
trainFileListSize = len(trainFileList)
trainMat = zeros((trainFileListSize, 1024))
for i in range(trainFileListSize):
fileNameStr = trainFileList[i]
classNumStr = int(fileNameStr.split('_')[0])
hwLabels.append(classNumStr)
trainMat[i, :] = img2vector('trainingDigits/' + fileNameStr)
testFileList = listdir('testDigits')
testFileListSize = len(testFileList)
error = 0.0
for i in range(testFileListSize):
fileNameStr = testFileList[i]
classNumStr = int(fileNameStr.split('_')[0])
testVector = img2vector('testDigits/' + fileNameStr)
classifierResult = classify0(testVector, trainMat, hwLabels, k)
if classifierResult != classNumStr:
error += 1
print('classify result:%d, real result:%d' %(classifierResult, classNumStr))
errorRate = error/float(testFileListSize)
print('error number is: %d' %error)
print('error rate is: %f' %errorRate)
测试结果如下:
在测试代码中,k=5,可以更改k值,来降低测试的错误率,这需要多次调试才能得到比较合适的k值。
完整代码可以在以下github中查看:
https://github.com/resistzzz/kNN