KNN
简单的说,knn采用测量不同特征值之间的距离方法,进行分类
优点:精度高,对异常值不敏感,无数据输入假定。
缺点:计算复杂度高,空间复杂度高。
适用数据范围:数值型和标称型。
工作原理:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算中k的出处,通常k是不大于20的整数。最后,选择k个最相似的数据中出现次数最多的分类,作为新数据类。
举例:电影分类(爱情片,动作片)
knn算法的一般流程:
- 收集数据:可以使用任何方法
- 准备数据:距离计算所需要的数值,最好是结构化的数据格式。
- 分析数据:可以使用任何方法
- 训练算法:此步骤不适用于k-近邻算法。
- 测试算法:计算错误率。
- 使用算法:首先需要输入样本数据和结构化的输出结果,然后运行k-近邻算法判定输入数据分别属于哪个分类,最后应用对计算出的分类执行后续处理。
算法详述
步骤:
为了判断未知实例的类别,以所有已知类别的实例作为参照
选择参数K
计算未知实例与所有已知实例的距离
选择最近K个已知实例
根据少数服从多数的投票法则(majority-voting),让未知实例归类为K个最邻近样本中最多数的类别
细节:
关于K
关于距离的衡量方法:
上面电影分类实例,计算未知电影到各个点的距离:
import math
def ComputeEuclideanDistance(x1, y1, x2, y2):
d = math.sqrt(math.pow((x1-x2), 2) + math.pow((y1-y2), 2))
return d
d_ag = ComputeEuclideanDistance(3, 104, 18, 90)
d_bg = ComputeEuclideanDistance(2, 100, 18, 90)
d_cg = ComputeEuclideanDistance(1, 81, 18, 90)
d_dg = ComputeEuclideanDistance(101, 10, 18, 90)
d_eg = ComputeEuclideanDistance(99, 5, 18, 90)
d_fg = ComputeEuclideanDistance(98, 2, 18, 90)
print (d_ag)
print (d_bg)
print (d_cg)
print (d_dg)
print (d_eg)
print (d_fg)
import numpy as np
import matplotlib.pyplot as plt
#配置字体,显示中文
plt.rcParams['font.sans-serif']=['FangSong']
#创建数据采集函数
def createDateSet():
#四个数据
group=np.array([[1,101],[5,89],[108,5],[115,8]])
#四个标签
label =['爱情片','爱情片','动作片','动作片']
return group,label
if __name__ == '__main__':
group,label=createDateSet()
x=group[:,0]
y=group[:,1]
plt.scatter(x,y)
#增加信息
plt.text(5,94,'爱情片',size=20)
plt.text(95,10,'动作片',size=20)
plt.show()
def knn(inX,dataSet,label,k):
#计算行号
dataSetSize=dataSet.shape[0]
#矩阵相减 tile产生块矩阵【1,101】
diffMat=np.tile(inX,(dataSetSize,1))-dataSet
#相减以后进行平方,对每个元素平方
sqDiffMat=diffMat**2
#按行相加
sqDistances=sqDiffMat.sum(axis=1)
#开方
distance=sqDistances**0.5
print(distance)
#排序
sortedDistIndices=distance.argsort()
print(sortedDistIndices)
group,label=createDateSet()
knn([110,2],group,label,3)