机器学习 k-近邻算法 手写数字图片识别

一、步骤

使用k-近邻算法的手写识别系统，步骤：
收集数据：提供为本文件。
准备数据：编写函数classify()，将图像格式转换为分类器使用的list格式。
分析数据：在python命令提示符中检查数据，确保它符合要求。
训练算法：此步骤不适用于k-近邻算法。（适合不知道结果的测试数据的算法）
测试算法：编写函数使用提供的部分数据集作为测试样本，测试样本与非测试样本的区别在于测试样本是已经完成分类的数据，如果预测分类与实际分类不同，则标记为一个错误。
使用算法：从图像中提取数字，并完成数字识别，美国的邮件分拣系统就是一个实际运行的类似系统。

二、代码演示

# coding: utf-8

from numpy import *
import operator
import sys
import matplotlib
import matplotlib.pyplot as plt
from os import listdir

def img2vector( filename ):
	''' 准备数据：将图像转换为测试向量 '''
	returnVect = zeros( (1, 1024) )
	
	fileNameLabel = filename.split('.')[0].split('_')[0].strip()
	
	fr = open( filename )
	for i in range(32):
		lineStr = fr.readline()
		for j in range(32):
			returnVect[0, 32*i + j] = int( lineStr[j] )
	return returnVect, fileNameLabel

def classify0( inX, dataSet, labels, k ):
	''' 分类器，算出最终结果，欧式距离最短 '''
	''' inX 需要预测的目标，dataSet 已有数据集合，labels 标签，k 最短距离个数 '''
	
	# 距离计算
	dataSetSize = dataSet.shape[0]
	diffMat = tile( inX, (dataSetSize, 1) ) - dataSet
	sqDiffMat = diffMat ** 2 # 各个元素平方
	# 求欧式距离
	sqDistances = sqDiffMat.sum(axis = 1) # 对应行相加，即得到了每一个距离的平方
	distances = sqDistances ** 0.5 # 开方

	# 获得将开方之后的距离从小到大排序的索引
	sortedDistIndicis = distances.argsort()

	# 选择距离最小的k个点
	classCount = {}
	for i in range(k):
		voteIlabel = labels[ sortedDistIndicis[i] ]

		classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
		
	# 排序
	sortedClaassCount = sorted(classCount.iteritems(), key = operator.itemgetter(1), reverse = True)

	return sortedClaassCount[0][0]
	
def handwritingClassTest():
	''' 手写数字识别系统的测试代码 '''
	hwLabels = []	# 标签
	trainingFileList = listdir( "trainingDigits2" ) # 读取目录
	m = len( trainingFileList ) # 目录下有多少文件
	trainingMat = zeros( (m, 1024) ) # 创建存放所有数字图片的数组
	
	# 从文件名中解析分类数据
	for i in range(m):
		fileNameStr = trainingFileList[i] # 文件名
		fileStr = fileNameStr.split('.')[0]
		classNumStr = int( fileStr.split('_')[0] )
		hwLabels.append( classNumStr )	# 获取当前文件的标签
		
		trainingMat[i, :] = img2vector( "trainingDigits2/%s" % fileNameStr )
		
	testFileList = listdir( "testDigits2" ) 	# 测试样本
	errorCount = 0.0
	mTest  = len( testFileList )
	
	for i in range( mTest ):
		fileNameStr = testFileList[i]
		fileStr = fileNameStr.split('.')[0]
		classNumStr = int( fileStr.split('_')[0] )
		vectorUnderTest = img2vector( "testDigits2/%s" % fileNameStr )
		
		classifierResult = classify0( vectorUnderTest, trainingMat, hwLabels, 3 )
		
		print "the classifier came back with: %d, the real answer is: %d" \
			% (classifierResult, classNumStr)
			
		if( classifierResult != classNumStr ):
			errorCount += 1.0
			
	print "\n the total number of errors is: %d" % errorCount
	print "\n the total error tate is: %f" % ( errorCount / float(mTest) )
	print classifierResult
	
def classifyImage():
	
	# 准备数据：将图像转换为测试向量
	fileList = listdir( "trainingDigits2" )
	m = len(fileList)
	returnVect = zeros( (m, 1024) ) # group
	returnLabels = [] #labels
	
	for i in range(m):
		returnVect[i, :], label = img2vector( "trainingDigits2/%s" % fileList[i] )
		returnLabels.append( label )
	
	# 测试数据
	testVect = zeros( (1, 1024) )
	fr = open( "test.txt" )
	for i in range(32):
		lineStr = fr.readline()
		for j in range(32):
			testVect[0, 32*i + j] = int( lineStr[j] )
				
	classifierResult = classify0( testVect, returnVect, returnLabels, 3 )
	
	print classifierResult.split('/')[1]
	
def main():
	'''
	# 处理数据
	returnVect = img2vector( "0_0.txt" )
	print returnVect[0, 0:32]
	'''
	
	'''
	# 测试数据
	handwritingClassTest()
	'''
	
	# 使用算法
	classifyImage()

if __name__=="__main__":
	main()

三、结果展示

左边是手写的数字图片，右边是运行的结果，刚好对上是8。