参考大佬文章https://blog.csdn.net/c406495762/article/details/75172850
1.KNN算法的个人理解
个人感觉KNN算法(K-NearestNeighbor)一种极其简单粗暴的分类方法,举一个例子,比如说你想知道一个人是不是喜欢打游戏,就可以观察他最亲密的几个朋友是不是都喜欢打游戏,如果大多数都喜欢打游戏,可以推测这个人也喜欢打游戏。KNN就是基于这种有点“物以类聚,人以群分”的简单粗暴的想法来进行分类的。
2.KNN核心思想
在给定一个训练数据集,再给定一个需要作出预测的数据,然后再在训练数据集中寻找k(这个就是KNN的K的由来)个与待预测数据最近(通常我们可以取欧氏距离作为距离的度量)的数据。最后选取k个数据中出现最多的分类作为待预测数据的分类。
欧氏距离:
3.KNN的实现代码
def KNN(inpudata,data_matrix,label_matrix,k):
'''
:param inpudata: 待预测的数据
:param data_matrix: 数据集
:param label_matrix: 数据集的标签
:param k: 寻找的近邻数
:return: 分类的结果
'''
datalen=data_matrix.shape[0]
inpudata=np.tile(inpudata,(datalen,1))#海伦约会的例子将数据变成(datalen,3)
sub=inpudata-data_matrix
sq=sub**2
sum=sq.sum(axis=1)#按行方向求和
distance=sum*0.5
sorteddisarg=distance.argsort()# 按距离从小到大排序的索引
classcount={}#记录各出现次数
for i in range(k):
vote=label_matrix[sorteddisarg[i]]# 第i个元素的类别
classcount[vote]=classcount.get(vote,0)+1 #给vote这个键的值加一,如果这个键不存在,则创建并设置默认值0
# key=operator.itemgetter(1)根据字典的值进行排序,为0根据字典的键进行排序
# reverse降序排序字典
result=sorted(classcount.items(),key=operator.itemgetter(1),reverse=True)
return result[0][0] #返回分类的结果
4.例子
下面以海伦约会的例子来运用实现的KNN算法
海伦约会数据集下载
数据总共有1000行
特征
1.每年飞行里程数
2.玩游戏时间
3.每周消费的冰淇淋公升数
标签
1.didntLike
2.smallDoses
3.largeDoses
下面展示数据集的可视化结果:
由上图可见,海伦喜欢每年有适当飞行公里数的人(大概在40000左右),而且有一定游戏时间数的男人,但是不喜欢那种一直在外面飞的男人。
下面先来进行KNN算法的准确度计算:
我们取该数据集前面十分之一作为测试集,后面的十分之九作为训练集,检验一下分类的正确率:
建议在实现过程中对数据实现归一化,因为在此数据集中,相比于游戏时间和每周冰淇淋消费公升数,飞机飞行公里数在数值上最大,它的变化对距离的计算产生的影响也就更大,也就更容易影响到最后的分类结果。但是海伦在约会实例中我们认为三个特征同等重要,因此我们需要将所有的特征的取值范围进行限制,让三个特征对最终的分类结果的影响相同。
经过测试后发现归一化前后测试数据的正确率前者为80%,后者为96%
归一化前: 归一化后:
最后我们给出3组数据然后使用KNN进行预测:
预测结果:
6.KNN的优缺点
优点:1.只找离待预测点最近的K个值,对异常的值不敏感
2.理解与实现都很容易
缺点:1.计算量大,内存开销大