提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
在机器学习领域,有许多经典的算法可以用于分类问题。而K近邻(KNN)算法是其中一种简单而有效的方法。本文将深入探讨KNN算法的原理和实现,并介绍基于KNN算法的分类器的实际应用。
一、KNN算法是什么?
KNN算法是一种基于实例的学习方法,其核心思想是通过测量不同样本之间的距离来对新样本进行分类。
KNN算法有以下几个优势:
1.简单有效。KNN是一种非参数学习算法,不需要事先对数据进行假设和参数估计,也不需要训练模型,它直接使用已有的训练样本进行分类,因此实现简单、易于理解和实施。
2.适用于多分类问题。KNN算法可以用于多分类问题,它通过计算样本之间的距离并进行投票来确定新样本的类别。
3.对异常值不敏感。KNN算法使用了最近邻样本的信息,异常样本的影响会被相对稳定的邻居样本消除或减小。
具体而言,KNN算法的实现可以分为以下几个步骤:
1.计算距离:对于给定的未知样本,计算其与训练样本中每个样本之间的距离。常用的距离度量方法有欧氏距离、曼哈顿距离等。
2.选择K值:确定用于判定分类的邻居数量K。K值的选择直接影响分类器的性能,一般通过交叉验证等方法进行确定。
3.选择邻居:选择距离最近的K个样本作为邻居。
4.进行投票:根据邻居的标签进行投票,将未知样本分类为得票最多的类别。
二、基于K近邻算法的分类器实现
KNN算法的简单性使其成为许多分类问题中的首选算法。在实际应用中,我们可以使用Python来实现基于KNN的分类器。具体有以下步骤:
1.导入库:首先,我们需要导入必要的库,包括numpy、pandas和scikit-learn。
2.数据准备:准备训练数据和测试数据,并进行必要的数据预处理,如特征缩放和特征选择。
3.模型训练:使用训练数据训练KNN分类器模型。在scikit-learn中,可以使用KNeighborsClassifier类来实现。
4.模型评估:使用测试数据对训练好的模型进行评估,并计算分类器的性能指标,如准确率、召回率和F1值。
5.参数调优:根据需要,可以通过交叉验证等方法来调优KNN模型的参数,如K值和距离度量方法。
三、算法实现
1.问题引入
海伦一直使用在线约会网站寻找适合自己的约会对象。她曾交往过三种类型的人:
-
不喜欢的人
-
一般喜欢的人
-
非常喜欢的人
这些人包含以下三种特征
-
每年获得的飞行常客里程数
-
玩视频游戏所耗时间百分比
-
每周消费的冰淇淋公升数
该网站现在需要尽可能向海伦推荐她喜欢的人,需要我们设计一个分类器,根据用户的以上三种特征,识别出是否该向海伦推荐。
2.引入库
导入 NumPy 库,用于进行数值计算和数组操作。定义 file2matrix
函数,用于接收一个文件名作为输入参数。
代码如下:
import numpy as np
def file2matrix(filename):
#打开文件
fr = open(filename)
#读取文件所有内容
arrayOLines = fr.readlines()
#得到文件行数
numberOfLines = len(arrayOLines)
#返回的NumPy矩阵,解析完成的数据:numberOfLines行,3列
returnMat = np.zeros((numberOfLines,3))
#返回的分类标签向量
classLabelVector = []
#行的索引值
index = 0
for line in arrayOLines:
#s.strip(rm),当rm空时,默认删除空白符(包括'\n','\r','\t',' ')
line = line.strip()
#使用s.split(str="",num=string,cout(str))将字符串根据'\t'分隔符进行切片。
listFromLine = line.split('\t')
#将数据前三列提取出来,存放到returnMat的NumPy矩阵中,也就是特征矩阵
returnMat[index,:] = listFromLine[0:3]
#根据文本中标记的喜欢的程度进行分类,1代表不喜欢,2代表魅力一般,3代表极具魅力
if listFromLine[-1] == 'didntLike':
classLabelVector.append(1)
elif listFromLine[-1] == 'smallDoses':
classLabelVector.append(2)
elif listFromLine[-1] == 'largeDoses':
classLabelVector.append(3)
index += 1
return returnMat, classLabelVector
filename = 'C:/Users/ziyin/Desktop/KNN/datingTestSet.txt'
datingDataMat, datingLabels = file2matrix(filename)
2.创建散点图
使用Matplotlib库创建散点图来展示数据特征,定义函数散点图来展示数据showData
代码如下:
# 分析数据:使用Matplotlib创建散点图
import matplotlib.pyplot as plt
import matplotlib.lines as mlines
# 数据展示
def showData(datingDataMat, datingLabels):
fig, axs = plt.subplots(nrows=2, ncols=2, sharex=False, sharey=False, figsize=(13, 8))
LabelsColors = []
for i in datingLabels:
if i == 1:
LabelsColors.append('black')
if i == 2:
LabelsColors.append('orange')
if i == 3:
LabelsColors.append('red')
axs[0][0].scatter(x=datingDataMat[:, 0], y=datingDataMat[:, 1], color=LabelsColors, s=15, alpha=.5)
axs0_title_text = axs[0][0].set_title('flight_play')
axs0_xlabel_text = axs[0][0].set_xlabel('flight_time')
axs0_ylabel_text = axs[0][0].set_ylabel('play_time')
plt.setp(axs0_title_text, size=9, weight='bold', color='red')
plt.setp(axs0_xlabel_text, size=7, weight='bold', color='black')
plt.setp(axs0_ylabel_text, size=7, weight='bold', color='black')
axs[0][1].scatter(x=datingDataMat[:, 0], y=datingDataMat[:, 2], color=LabelsColors, s=15, alpha=.5)
# 设置标题,x轴label,y轴label
axs1_title_text = axs[0][1].set_title('flight_eat')
axs1_xlabel_text = axs[0][1].set_xlabel('flight_distance')
axs1_ylabel_text = axs[0][1].set_ylabel('eat')
plt.setp(axs1_title_text, size=9, weight='bold', color='red')
plt.setp(axs1_xlabel_text, size=7, weight='bold', color='black')
plt.setp(axs1_ylabel_text, size=7, weight='bold', color='black')
# 画出散点图,以datingDataMat矩阵的第二(玩游戏)、第三列(冰激凌)数据画散点数据,散点大小为15,透明度为0.5
axs[1][0].scatter(x=datingDataMat[:, 1], y=datingDataMat[:, 2], color=LabelsColors, s=15, alpha=.5)
# 设置标题,x轴label,y轴label
axs2_title_text = axs[1][0].set_title('play_eat')
axs2_xlabel_text = axs[1][0].set_xlabel('play_time')
axs2_ylabel_text = axs[1][0].set_ylabel('eat_weight')
plt.setp(axs2_title_text, size=9, weight='bold', color='red')
plt.setp(axs2_xlabel_text, size=7, weight='bold', color='black')
plt.setp(axs2_ylabel_text, size=7, weight='bold', color='black')
# 设置图例
didntLike = mlines.Line2D([], [], color='black', marker='.',
markersize=6, label='didntLike')
smallDoses = mlines.Line2D([], [], color='orange', marker='.',
markersize=6, label='smallDoses')
largeDoses = mlines.Line2D([], [], color='red', marker='.',
markersize=6, label='largeDoses')
# 添加图例
axs[0][0].legend(handles=[didntLike, smallDoses, largeDoses])
axs[0][1].legend(handles=[didntLike, smallDoses, largeDoses])
axs[1][0].legend(handles=[didntLike, smallDoses, largeDoses])
# 显示图片
plt.show()
showData(datingDataMat,datingLabels)
就可以得到数据的散点图。
3.归一化处理
定义函数autoNorm
,通过dataSet.min(0)
和dataSet.max(0)
分别获得数据集每列的最小值和最大值,然后计算最大值和最小值的范围并获取数据集的行数,将减去最小值的数据集除以最大值和最小值的范围,最终返回归一化后的数据集,数据范围和最小值。
def autoNorm(dataSet):
#获得数据的最小值
minVals = dataSet.min(0)
maxVals = dataSet.max(0)
#最大值和最小值的范围
ranges = maxVals - minVals
#shape(dataSet)返回dataSet的矩阵行列数
normDataSet = np.zeros(np.shape(dataSet))
#返回dataSet的行数
m = dataSet.shape[0]
#原始值减去最小值
normDataSet = dataSet - np.tile(minVals, (m, 1))
#除以最大和最小值的差,得到归一化数据
normDataSet = normDataSet / np.tile(ranges, (m, 1))
#返回归一化数据结果,数据范围,最小值
return normDataSet, ranges, minVals
4.实现分类器
实现KNN算法的分类器,定义函数classify。
# 分类器
import operator
# 输入:inX - 用于分类的数据(测试集);dataSet - 训练集;labes - 分类标签;K - KNN算法参数,选择距离最小的K个点
# 输出:sortedClassCount[0][0] - 分类结果
def classify0(inX, dataSet, labels, k):
#numpy函数shape[0]返回dataSet的行数
dataSetSize = dataSet.shape[0]
#在列向量方向上重复inX共1次(横向),行向量方向上重复inX共dataSetSize次(纵向)
diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
#二维特征相减后平方
sqDiffMat = diffMat**2
#sum()所有元素相加,sum(0)列相加,sum(1)行相加
sqDistances = sqDiffMat.sum(axis=1)
#开方,计算出距离
distances = sqDistances**0.5
#返回distances中元素从小到大排序后的索引值
sortedDistIndices = distances.argsort()
#定一个记录类别次数的字典
classCount = {}
for i in range(k):
#取出前k个元素的类别
voteIlabel = labels[sortedDistIndices[i]]
#dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
#计算类别次数
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
#python3中用items()替换python2中的iteritems()
#key=operator.itemgetter(1)根据字典的值进行排序
#key=operator.itemgetter(0)根据字典的键进行排序
#reverse降序排序字典
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
#返回次数最多的类别,即所要分类的类别
return sortedClassCount[0][0]
5.测试准确率
获取归一化后的数据集的行数,计算测试集的大小,通过一个循环遍历测试集中的每个样本。在每次迭代中,使用classify0
函数对测试样本进行分类。将分类结果和真实类别打印出来,以便进行观察和对比。如果分类结果与真实类别不相等,说明分类错误。最后,通过计算错误率乘100
,并将错误率打印出来。
m = normDataSet.shape[0]
numTestVecs = int(m*0.1)
errorCount = 0.0
for i in range(numTestVecs):
classifyResult = classify0(normDataSet[i,:],normDataSet[numTestVecs:m,:],
datingLabels[numTestVecs:m],4)
print("分类结果:%d,真实类别:%d" % (classifyResult,datingLabels[i]))
if(classifyResult!=datingLabels[i]):
errorCount += 1.0
print("错误率:%f%%" %(errorCount/float(numTestVecs)*100))
6.进行分类
函数classifyPerson中
定义包含了三种分类结果结果列表resultList
。用户输入一个人的特征,包括每年获得的飞行常客里程数、玩视频游戏所耗时间百分比和每周消费的冰激淋公升数。接着将输入的特征进行归一化处理,得到测试集。最后,调用classify0
函数对归一化后的测试集进行分类,并输出分类结果。
# 通过输入一个人的三维特征,进行分类输出
def classifyPerson():
#输出结果
resultList = ['讨厌','有些喜欢','非常喜欢']
#三维特征用户输入
ffMiles = float(input("每年获得的飞行常客里程数:"))
precentTats = float(input("玩视频游戏所耗时间百分比:"))
iceCream = float(input("每周消费的冰激淋公升数:"))
#打开的文件名
filename = "datingTestSet.txt"
#打开并处理数据
datingDataMat, datingLabels = file2matrix(filename)
#训练集归一化
normMat, ranges, minVals = autoNorm(datingDataMat)
#生成NumPy数组,测试集
#inArr = np.array([precentTats, ffMiles, iceCream])
inArr = np.array([ffMiles, precentTats, iceCream])
#测试集归一化
norminArr = (inArr - minVals) / ranges
#返回分类结果
classifierResult = classify0(norminArr, normMat, datingLabels, 3)
#打印结果
print("你可能%s这个人" % (resultList[classifierResult-1]))
classifyPerson()
总结
K近邻算法是一种简单而有效的分类算法,它通过测量样本之间的距离来对新样本进行分类。基于KNN算法的分类器在实际应用中具有广泛的应用,可以用于图像分类、文本分类、推荐系统等领域。通过学习和实践,我们可以更好地理解KNN算法的原理和实现,并将其应用于实际问题中。