核心思想
K最近邻(k-Nearest Neighbor,KNN)分类算法的核心思想是如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。即 在一个含未知样本的空间,可以根据离这个样本最邻近的k个样本的数据类型来确定样本的数据类型
- 该算法涉及3个主要因素:训练集、距离与相似的衡量、k的大小;主要考虑因素:距离与相似度;
用途
可被用于多分类, 也可被用于回归问题(即通过找出一个样本的k个最近邻居,将这些邻居的属性的平均值赋给该样本,作为预测值)
算法描述
简单来说就是计算输入数据D与所有样本点的距离(该距离为两点间欧式距离:
∑
(
X
i
−
Y
i
)
2
2
.
\sum\frac{(Xi - Yi)^2}{2}.
∑2(Xi−Yi)2.,然后取最小的前k个样本的标签的统计即可
代码实现(python)
from numpy import *
import operator#运算符模块
def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]
diffMat = tile(inX, (dataSetSize,1)) - dataSet#距离计算使用欧式距离公式
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)#行向量相加
distances = sqDistances**0.5
sortedDistIndicies = distances.argsort()#逆序排序返回下标
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0)+1 #此处+1是为了计数
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)#sorted得到结果,其中itemgetters是运算符模块中对元组进行逆序
return sortedClassCount[0][0]
def createDataSet():
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group, labels
group,labels=createDataSet()
print(classify0([0,0],group,labels,3))