knn算法工作原理:
存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一条数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。最后选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
knn算法分类过程(步骤):
- 计算已知类别数据集中的点与待预测点之间的距离
- 按照距离递增次序排序
- 选取与待预测点距离最小的k个点
- 确定前k个点所在类别的出现频率
- 返回前k个点出现频率最高的类别作为待预测点的预测分类
python代码如下:
def classify(input, dataSet, labels, k):
"""knn分类算法
input:要预测的数据向量
dataSet:样本数据集
labels:样本数据集对应的label
k:取最近的k个数据来判断待预测的数据的类别
:rtype: int,待预测的数据向量的类别
"""
dataSetSize = dataSet.shape[0]
diffMat = tile(input, (dataSetSize, 1)) - dataSet
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances ** 0.5
distanceIndicies = distances.argsort()
classCount = {}
for i in range(k):
voteLabel = labels[distanceIndicies[i]]
classCount[voteLabel] = classCount.get(voteLabel, 0) + 1
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]