以下内容来源于《Machine Learning in Action》
使用k-近邻算法的手写识别系统
(1) 收集数据:提供文本文件。
(2) 准备数据:编写函数classify0(),将图像格式转换为分类器使用的list格式。
(3) 分析数据:在Python命令提示符中检查数据,确保它符合要求。
(4) 训练算法:此步骤不适用于k-近邻算法。
(5) 测试算法:编写函数使用提供的部分数据集作为测试样本,测试样本与非测试样本
的区别在于测试样本是已经完成分类的数据,如果预测分类与实际类别不同,则标记
为一个错误。
(6) 使用算法:本例没有完成此步骤,若你感兴趣可以构建完整的应用程序,从图像中提
取数字,并完成数字识别,美国的邮件分拣系统就是一个实际运行的类似系统。
为了简单起见,这里构造的系统只能识别数字0到9。参见图2.6。需要识别的数字已经使用图形处理软件,处理成具有相同的色
彩和大小①:宽高是32像素× 32像素的黑白图像。尽管采用文本格式存储图像不能有效地利用内
存空间,但是为了方便理解,我们还是将图像转换为文本格式。
分类器
#classify0()函数有4个输入参数:用于分类的输入向量是inX,输入的训练样本集为dataSet,
#标签向量为labels,最后的参数k表示用于选择最近邻居的数目,其中标签向量的元素数目和矩
#阵dataSet的行数相同。使用欧氏距离公式,计算两个向量点xA和xB之间的距离
def classify0(inX,dataSet,labels,k):
dataSetSize=dataSet.shape[0]
diffMat=tile(inX,(dataSetSize,1))-dataSet
sqDiffMat=diffMat**2
#np.sum([[0,1,2],[2,1,3]],axis=1)的结果就是:array([3,6])
#axis=0表示按列相加,axis=1表示按照行的方向相加
sqDistances=sqDiffMat.sum(axis=1)
distances=sqDistances**0.5
# x=np.array([1,4,3,-1,6,9])
#x.argsort()
#输出定义为y=array([3,0,2,1,4,5])
#现argsort()函数是将x中的元素从小到大排列,提取其对应的index(索引),然后输出到y
#x[3]=-1最小,所以y[0]=3,x[5]=9最大,所以y[5]=5。
sortedDistIndicies