这几天看了machine learning in action第一章,还是有所收获的,由于书上代码实现用的是poython2版本,我用的是python3,有些代码存
在一些问题,所以我参考了别人的一些代码片段,自己也做了一些修改,并对书中的k值变化对结果的影响进行的分析和图解,加深对此类算法
的理解。
1.k-近邻算法:
概念:存在一个样本数据集合,也称作样本集,并且每个样本集中每个数据都存在标签,即我们知道样本集中每一个数据与所属分类对应的关系。
一般来说,我们只能选择样本数据集中前k个最相似的数据,这就是k-近邻算法的出处,通常是k不大于20的整数,最后选择k个最相似的数据中出现次数最多的分类,
作为新数据的分类。
流程:收集数据、准备数据、分析数据、训练算法、测试算法、使用算法。
可以将数据用图表的形式分析。
2.每一步的意义以注释的形式标出,可能有一些描述不太到位,欢迎指正:
from numpy import *
import operator
from os import listdir
import matplotlib
import matplotlib.pyplot as plt
def classify0(inX, dataSet, labels, k):#计算欧氏距离,返回最近值标签
dataSetSize = dataSet.shape[0]#第一维的长度
diffMat = tile(inX, (dataSetSize,1)) - dataSet #tile 重复inx矩阵,次数为dataSetSize,构成列矩阵
sqDiffMat = diffMat**2#幂运算
sqDistances = sqDiffMat.sum(axis=1)#每一行向量相加
distances = sqDistances**0.5
sortedDistIndicies = distances.argsort() #将distances从小到大排列,输出其索引
classCount={} #定义字典
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]#贴上标签
classCount[voteIlabel]= classCount.get(voteIlabel,0)+1#标签votelabel存在则返回对应的值,否则返回0
#由于python3取消了iteritems函数,所以我使用以下代码实现其功能:
keys = classCount.keys()#返回所有键信息,存储于key数组中
vals =classCount.values()#返回所有值信息,存储于vals中
lst =[(key,val) for key ,val in zip(keys,vals)]
l=sorted(lst, key=operator.itemgetter(1), reverse=True)#以二维序列的第二个元素做逆排序
return l[0][0]
def createDataSet():#实例
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group, labels
def file2matrix(filename):#读取文件,并进行处理
fr =open(filename)
arrayOLines=fr.readlines()#读出文件中的每一行,以矩阵的形式存储
numberOfLines=len(arrayOLines)
returnMat =zeros((numberOfLines,3))#构建numberOfLines*3零矩阵
classLabelVector =[]#建立一个空序列
index=0
for line in arrayOLines:
line =line.strip()#删除开头和结尾的空格等
listFromLine =line.split('\t')#以空格形式分割,并以序列的形式返回
returnMat[index]=listFromLine[0:3]#将returnMat矩阵重新赋值,为每一行的1-3个数值
classLabelVector.append(int(listFromLine[-1]))#存储评价结果,即最后一个数值
index +=1
return returnMat,classLabelVector#返回
def autoNorm(dataSet):#归一化数值,并返回
minVals = dataSet.min(0)#取列的最值构成数min(1)为行最值,下同
maxVals = dataSet.max(0)
ranges =maxVals - minVals
normDataSet = zeros(shape(dataSet))构造dataset相同的零矩阵
m = dataSet.shape[0]#dataSet的行数
normDataSet = dataSet - tile(minVals,(m,1))
normDataSet = normDataSet/tile(ranges,(m,1))
return normDataSet,ranges,minVals
def datingClassTest():#测试
hoRatio =0.1
datingDataMat,datingLabels =file2matrix('datingTestSet2.txt')
normMat,ranges,minVals =autoNorm(datingDataMat)
m = normMat.shape[0]
numTestVecs = int(m*hoRatio)
errorCount = 0.0
for i in range(numTestVecs):
classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],5)
print(classifierResult)
print('the classifier came back with : {},the real answer is: {}'.format (classifierResult,datingLabels[i]))
if (classifierResult != datingLabels[i]): errorCount +=1.0
print("the total error rate is :%f" % (errorCount/float(numTestVecs)))
print (errorCount)
def classifyPerson():#预测,输入相关参数,构造矩阵,调用分类函数
resultList = ['not at all' , 'in small doses','in large doses']
percentTats = float(input("percentage of time spent playing video games?"))
ffMiles = float(input("frequent fliters of ice cream consumed per year?"))
iceCream = float(input("liters of ice cream consumed per year?"))
datingDataMat ,datingLabels = file2matrix('datingTestSet2.txt')
normMat,ranges ,minVals = autoNorm(datingDataMat)
inArr = array([ffMiles,percentTats,iceCream])
classifierResult = classify0((inArr - minVals)/ranges,normMat,datingLabels,3)
print("you will probably like this person:", resultList[classifierResult-1])
#手写识别系统
def img2vector(filename):
returnVect =zeros((1,1024))#一行,1024列零矩阵
fr = open(filename)
for i in range(32):
lineStr =fr.readline()#读取一行
for j in range(32):
returnVect[0,32*i+j] = int(lineStr[j])#每一行前32个数字存储于returnVect中,共1024个数字
return returnVect
def handwritingClassTest():
hwLabels = []#构造空序列
trainingFileList = listdir('trainingDigits')#获取文件目录
m= len(trainingFileList)#目录下的文件数
trainingMat = zeros((m,1024))#m行,1024列
for i in range(m):#文件名的命名方式有要求
fileNameStr = trainingFileList[i]
fileStr = fileNameStr.split('.')[0]#分割文件名
classNumStr = int(fileStr.split('_')[0])#分割文件名
hwLabels.append(classNumStr)#增加到序列里作为已知的标签
trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)打开训练数据,并用img2vector方法处理数据
testFileList = listdir('testDigits')#listdir函数获取当前目录下的文件
errorCount=0.0
mTest = len(testFileList)
print(mTest)
#下面程序作了修改,我取k范围1-9,整个函数循环九次,得到了九个错误率值,并绘出错误率-k的函数图像。由于文件比较多,所以运行速度有点慢。
lst=[]
lst1=[(k) for k in range(0,10)]#0-9
for j in range(1,10):
for i in range(mTest):
fileNameStr = testFileList[i]
fileStr = fileNameStr.split('.')[0]
classNumStr = int (fileStr.split('_')[0])
vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
classifierResult = classify0(vectorUnderTest,trainingMat,hwLabels,lst1[j])
print('the classifier came back with: {},the real answer is: {}'.format(classifierResult,classNumStr))
if (classifierResult != classNumStr):
errorCount +=1.0
lst.append(errorCount/float(mTest))
print(lst)
fig = plt.figure()
ax = fig.add_subplot(111)
ax.plot(lst1[1:10],lst)
plt.show()