机器学习实战读书笔记(二) K-近邻算法

K-近邻算法

2.1 K-近邻算法概述
K-近邻算法是一种基本分类与回归方法。本节只讨论分类问题中的K-近邻算法。
K-近邻算法假设给定一个训练数据集,其中的实例类别已定。对新的实例分类时,根据其K个最近邻的训练实例的类别,通过多数表决等方式进行预测。
因此,K-近邻算法不具有显示的学习过程。K-近邻算法实际上利用训练数据集对特征向量空间进行划分,并作为其分类的“模型”。
K值的选择、距离度量及分类决策规则是K-近邻算法的三个基本要素。

优点:精度高、对异常值不敏感、无输入数据假定
缺点:计算复杂度高、空间复杂度高
适用数据范围:数值型和标称型

2.2 使用K-近邻算法改进约会网站的配对效果
(1)收集数据:书目官网源码包含数据集,提供文本文件
(2)准备数据:使用Python解析文本文件
def file2Matrix(filename):
	fr = open(filename)
	arrayOfLines = fr.readlines()
	numberOfLines = len(arrayOfLines)
	returnMat = zeros((numberOfLines, 3))
	classLabelVector = []
	index = 0
	for line in arrayOfLines:
		line = line.strip()
		ListFromLine = line.split('\t')
		returnMat[index, :] = ListFromLine[0:3]
		classLabelVector.append(int(ListFromLine[-1]))
		index += 1
	return returnMat, classLabelVector
特征值可能会出现取值范围不一致的情形,需要将数值归一化。
def autoNorm(dataSet):
	minVals = dataSet.min(0)
	maxVals = dataSet.max(0)
	ranges = maxVals - minVals
	normDataSet = zeros(shape(dataSet))
	m = dataSet.shape[0]
	normDataSet = dataSet - tile(minVals, (m,1))
	normDataSet = normDataSet / tile(ranges, (m,1))
	return normDataSet, ranges, minVals

(3)分析数据:使用Matplotlib画二维扩散图
(4)训练算法:此步骤不适用于K-近邻算法
K-近邻算法是确定的
def classify0(inX, dataSet, labels, k):
	dataSetSize = dataSet.shape[0]
	diffMat = tile(inX, (dataSetSize, 1)) - dataSet
	sqDiffMat = diffMat ** 2
	sqDistances = sqDiffMat.sum(axis=1)
	distances = sqDistances ** 0.5
	sortedDistIndicies = distances.argsort()
	classCount = {}
	for i in range(k):
		voteIlabel = labels[sortedDistIndicies[i]]
		classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
	sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
	return sortedClassCount[0][0]
(5)测试算法
将训练数据集中的一部分(10%)用作测试数据集
def datingClassTest():
	hoRatio = 0.10
	datingDataMat, datingLabels = file2Matrix('datingTestSet2.txt')
	normMat, ranges, minVals = autoNorm(datingDataMat)
	m = normMat.shape[0]
	numTestVecs = int(m*hoRatio)
	errorCount = 0.0
	for i in range(numTestVecs):
		classifierResult = classify0(normMat[i,:], normMat[numTestVecs:m,:],\
			datingLabels[numTestVecs:m], 3)
		if (classifierResult != datingLabels[i]): errorCount += 1.0
	print "total error rate is: %f" % (errorCount/float(numTestVecs))

(6)使用算法
def classifyPerson():
	resultList = ['not at all', 'in small doses', 'in large doses']
	percentTats = float(raw_input(\
		"percentage of time spent playing video game?"))
	ffMiles = float(raw_input("frequent flier miles earned per year?"))
	iceCream = float(raw_input("liters of ice cream consumed per year?"))
	datingDataMat, datingLabels = file2Matrix('datingTestSet2.txt')
	normMat, ranges, minVals = autoNorm(datingDataMat)
	inArr = array([ffMiles, percentTats, iceCream])
	classifierResult = classify0((inArr-\
		minVals)/ranges, normMat, datingLabels, 3)
	print "You will probabaly like this person: ",\
		resultList[classifierResult-1]

2.3 手写识别系统
(1)收集数据
(2)准备数据:将图像格式转换为分类器使用的向量格式
def img2vector(filename):
	returnVect = zeros((1, 1024))
	fr = open(filename)
	for i in range(32):
		lineStr = fr.readline()
		for j in range(32):
			returnVect[0, 32*i+j] = int(lineStr[j])
	return returnVect
(3)分析数据
(4)训练算法
(5)测试算法
def handwritingClassTest():
	hwLabels = []
	trainingFileList = listdir('trainingDigits')
	m = len(trainingFileList)
	trainingMat = zeros((m, 1024))
	for i in range(m):
		fileNameStr = trainingFileList[i]
		fileStr = fileNameStr.split('.')[0]
		classNumStr = int(fileStr.split('_')[0])
		hwLabels.append(classNumStr)
		trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
	testFileList = listdir('testDigits')
	errorCount = 0.0
	mTest = len(testFileList)
	for i in range(mTest):
		fileNameStr = testFileList[i]
		fileStr = fileNameStr.split('.')[0]
		classNumStr = int(fileStr.split('_')[0])
		vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
		classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
		print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr)
		if (classifierResult != classNumStr): errorCount += 1.0
	print "\nthe total number of errors is: %d" % errorCount
	print "\nthe total error rate is: %f" % (errorCount/float(mTest))

(6)使用算法

2.4 小结
K-近邻算法虽然是比较简单有效的分类方法,但是执行效率并不高。此外,K-近邻算法无法给出任何数据的基础结构信息,无法知晓
平均实例样本和典型实例样本的区别。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值