knn算法----近朱者赤，近墨者黑

K近邻(kNN，k-NearestNeighbor)分类算法基本思想是：如果一个样本在特征空间中的k个最相似，也就是特征空间中k个最邻近的样本大多数属于某一个类别，则该样本也属于这个类别。类似与古话：近朱者赤，近墨者黑，背后自然也蕴藏着物以类聚，人以群分的思想！

算法步骤：

1.对数据进行归一化处理

2.求每个测试样本基于训练样本的k个最近临样本

3.k个最近临样本所属类别中最大的一个即位测试样本的类别。

优点：

1.容易理解，易于分类

2.适合多类别的分类问题

缺点：

1.每个测试样本需要与所有训练样本进行求距离，计算量大

2.当各类样本不平衡时，测试结果可能会趋向与样本数量多的那一类。

k值的选择：

k值过小，得到的近临数太少，使得分类精度低，同时放大了噪声的干扰；k值过大，当各类样本不平衡时，测试结果可能会趋向与样本数量多的那一类。k值的选择一般小于训练样本的平方根。

实例：

《机器学习实战》一书中手写数字识别例子：

训练样本: 32*32的0，1文本，每个文本代表一个手写数字，文本名中包含该文本所属的数字类别。点击下载

测试样本：同训练样本

代码：

from numpy import *
import operator
import os

def ReadData(trainDir, testDir):
	trainFileList = os.listdir(trainDir)
	testFileList = os.listdir(testDir)
	numSamples = len(trainFileList)
	trainX = zeros((numSamples, 1024)) 
	trainY = []
	for i in xrange(numSamples):
		fileName = trainFileList[i]
		trainX[i, :] = ReadImgData(trainDir + fileName) 
		label = int(fileName.split('_')[0])
		trainY.append(label)
	
	numSamples = len(testFileList)
	testX = zeros((numSamples, 1024))
	testY = []
	for i in xrange(numSamples):
		fileName = testFileList[i]
		testX[i, :] = ReadImgData(testDir + fileName)
		label = int(fileName.split('_')[0])
		testY.append(label)
	return trainX, trainY, testX, testY
#ReadImgData读取每个文本内容
def ReadImgData(fileName):
	row = 32
	col = 32
	fileX = zeros((1, row*col))
	fileFp = open(fileName)
	for i in xrange(row):
		lineTemp = fileFp.readline()
		for j in xrange(col):
			fileX[0, i*row + j] = int(lineTemp[j]) 
	return fileX

def knn(testX, trainX, trainY, k):
	numSamples = trainX.shape[0]
	diff = tile(testX, (numSamples, 1)) - trainX 
	squareDiff = diff ** 2
	squareDist = sum(squareDiff, axis = 1)
	dist = squareDist ** 0.5
	sortedDist = argsort(dist)
	classCount = {}
	for i in xrange(k):
		voteLabel = trainY[sortedDist[i]]
		classCount[voteLabel] = classCount.get(voteLabel, 0) + 1
	maxCount = 0
	for key, value in classCount.items():
		if value > maxCount:
			maxCount = value
			maxIndex = key
	return maxIndex


print "******start******"
trainDir = './trainingDigits/'
testDir = './testDigits/'
trainX, trainY, testX, testY = ReadData(trainDir, testDir)

print "******Data End******"

sumSamples = testX.shape[0]
right = 0
for i in xrange(sumSamples):
	label = knn(testX[i], trainX, trainY, 3)
	#print "label = %d" % label
	if label == testY[i]:
	    right += 1

print "*****Test End******"
print 'right = %d' % right
rate = float(right) / sumSamples
print 'rate = %f' % rate

代码中ReadData读取样本目录中的数据，ReadImgData读取单个文本的数据，knn实现测试算法。