一、k-近邻算法的基本原理
对于未知类别属性数据集中的点:
(1)计算已知类别数据集中的每个点与当前点之间的距离;
使用欧式距离公式,计算两个向量点xA和xB之间的距离公式如下:
(2)按照距离递增次序排序;
(3)选取与当前点距离最小的k个点;
(4)确定前k个点所在类别的出现频率;
(5)返回前k个点出现频率最高的类别作为当前点的预测分类。
二、k-近邻算法的三要素
k值的选择、距离度量、分类决策规则
三、k-近邻算法的评价
1. 优点
(1)k-近邻算法是分类数据最简单最有效的算法,它是一种lazy-learning算法;
(2)分类器不需要使用训练集进行训练,训练时间复杂度为0。
2. 缺点
(1)计算复杂度高、空间复杂度高:kNN分类的计算复杂度和训练集中的文档数目成正比,也就是说,如果训练集中文档总数为n,那么kNN的分类时间复杂度为O(n);
(2)耗内存:必须保存全部的数据集,如果训练数据集很大,必须使用大量的存储空间;
(3)耗时间:必须 对数据集中的每一个数据计算距离值,实际使用时可能非常耗时;
(4)无法给出任何数据的基础结构信息(数据的内在含义),这是k-近邻算法最大的缺点。
四、k-近邻算法的问题及解决方案
问题1:当样本不平衡时,如一个类的样本容量很大,而其他类样本容量很小时,有可能导致当输入一个新样本时,该样本的k个邻居中大容量类的样本占多数。
解决:不同样本给予不同的权重项
问题2:数字差值最大的属性对计算结果的影响最大
解决:在处理不同取值范围的特征值时,通常采用的方法是将数值归一化,如将取值范围处理为0到1或者-1到1之间。
五、k-近邻算法的代码实现
#导入科学计算库
import numpy as np
#导入运算符模块
#k-近邻算法执行排序操作时将使用这个模块提供的函数
import operator as op
def createDataSet():
#定义6个训练样本集,每个样本有2个特征
group = np.array([[3,104],
[2,100],
[1,81],
[101,10],
[99,5],
[98,2]])
#定义每个样本点的标签值
labels = ['A','A','A','B','B','B']
return group,labels
#k-近邻算法代码
#inX:待分类点;dataSet:训练数据集;labels:标签;k:最近邻居数目
def classify0(inX, dataSet, labels, k):
#dataSet.shape[0] :第一维的长度(行);dataSet.shape[1] :第二维的长度(列)
dataSetSize = dataSet.shape[0]
#步骤1:计算距离
#作差:首先将待分类点inX复制成dataSetSize行1列,然后再和训练数据集中的数据作差(对应元素相减)
diffMat = np.tile(inX, (dataSetSize,1))-dataSet
#平方
sqDiffMat = diffMat ** 2
#按行求和
sqDistances = sqDiffMat.sum(axis = 1)
#开根
distances = sqDistances ** 0.5
#argsort():返回的是数组值从小到大的索引值(注意是索引值)
sortedDistIndicies = distances.argsort()
#步骤2:选择距离最小的k个点
#classCount:字典 key/value键值
classCount={}
for i in range(k):
#返回距离较小的k个点labels值
voteIlabel = labels[sortedDistIndicies[i]]
#字典中的key取值value
#get():返回指定键voteIlabel的值,如果值存在字典就加1,如果值不在字典中返回0
classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
#步骤3:对字典classCount进行排序
#逆向排序,从大到小(出现次数value值)
#sortedClassCount:对字典排序 ,返回的是List列表,不再是Dictionary字典。
sortedClassCount = sorted(classCount.items(),
key=operator.itemgetter(1),
reverse=True)
#返回出现频率最高的元素标签
return sortedClassCount[0][0]
classify0([18,90],group,labels,3)
六、算法中一些函数的说明
1. .argsort()函数:返回的是数组值从小到大的索引值
Examples
--------
One dimensional array:一维数组
>>> x = np.array([3, 1, 2])
>>> np.argsort(x)
array([1, 2, 0])
Two-dimensional array:二维数组
>>> x = np.array([[0, 3], [2, 2]])
>>> x
array([[0, 3],
[2, 2]])
>>> np.argsort(x, axis=0) #按列排序
array([[0, 1],
[1, 0]])
>>> np.argsort(x, axis=1) #按行排序
array([[0, 1],
[0, 1]])
#######################################
例1:
>>> x = np.array([3, 1, 2])
>>> np.argsort(x) #按升序排列
array([1, 2, 0])
>>> np.argsort(-x) #按降序排列
array([0, 2, 1])
>>> x[np.argsort(x)] #通过索引值排序后的数组
array([1, 2, 3])
>>> x[np.argsort(-x)]
array([3, 2, 1])
另一种方式实现按降序排序:
>>> a = x[np.argsort(x)]
>>> a
array([1, 2, 3])
>>> a[::-1]
array([3, 2, 1])
另外说到排序,还有两个常用的函数sort和sorted,详细内容请看:
2. sorted()函数
更多AI资源请关注公众号:大胡子的AI
欢迎各位AI爱好者加入群聊交流学习:882345565(内有大量免费资源哦!)
版权声明:本文为博主原创文章,未经博主允许不得转载。如要转载请与本人联系。