k-近邻算法(kNN):
工作原理:
存在训练样本集,并且样本集中每个数据都存在标签,输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似(最近邻)的分类标签。
一般来说只选择前k个最相似的数据,k是通常不大于20的整数。
伪代码:
1. 计算已知类别数据集中的点与当前点之间的距离2. 按照距离递增次序排序
3. 选取与当前点距离最小的k个点
4. 确定前k个点所在类别的出现频率
5. 返回前k个点出现频率最高的类别作为当前点的预测分类
k-邻近算法【python charm实现】
import numpy as np
import operator
#创造数据集和标签
def createDataSet():
group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group,labels
def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0] #查看第一维的维数,这里为4
diffMat = np.tile(inX, (dataSetSize,1)) - dataSet #求差,把inX数组重复4次变成[0,0],[0,0],[0,0],[0,0]与dataSet相减
sqDiffMat = diffMat**2 #平方
aqDistance = sqDiffMat.sum(axis=1) #按行相加
distance = aqDistance**0.5 #计算欧式距离
sortedDistIndicies = distance.argsort()#将distance中的元素从小到大排列,提取其对应的index(索引),然后输出到sortedDistIndicies
classCount ={}#字典
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
#存入当前label以及对应的类别值,d.get(k, v)意思是如果k在d中,则返回d[k],否则返回v
classCount[voteIlabel] = classCount.get(voteIlabel,0)
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
#对类别字典进行逆排序,级别数目多的往前放,operator.itemgetter(1)代表和元素的第一个域进行比较
return sortedClassCount[0][0]#返回发生频率最高的元素标签
group,labels = createDataSet()
print(classify0([0,0],group,labels,3))
label包含每个数据点的标签信息,label包含的元素个数等于Group矩阵行数。
inX用于分类的输入向量
dataSet输入的训练样本集
labels是标签向量
k表示选择最近邻居的数目
tile(A,rep)
rep:A沿着各个维度重复的次数(由外至内)
Tile详细用法参考:
https://blog.csdn.net/cszhang570221322/article/details/85107935?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param
将classCount字典分解为元组列表,然后用item方法,按照第二个元素的次序对元组进行排序,此处的排序为逆序。
与书上代码不同处:
1.classCount.iteritems()改为classCount.item()
2.print(classify0([0,0],group,labels,3))输出B
3.diffMat = tile(inX, (dataSetSize,1)) - dataSet改为diffMat = np.tile(inX, (dataSetSize,1)) - dataSet 调用numpy