honest_boy的博客

k近邻算法的基本原理：即KNN，是一个林轮上比较成熟的算法，也是最简单的机器学习算法之一。如果一个样本在特征空间中的k个最为相似的样本中的大多数属于某一个类别，则该样本也数据这个类别。给定一个数据集，对新的 输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类别，就把该输入实例分类到这个类中。k近邻算法的优点：1.简单，易于理解，易于实现，，无需参数估计，无需训练。...

通过练习配对和手写数字识别，我感觉KNN算法就是将测试的每个数据与训练集里边的所有数据算其距离，然后排序选出前K个距离最小的值，匹配其标签，选择多的标签作为测试数据的类型。这是我的理解有不对的欢迎大佬指正。数据集在此处# 导入程序所需要的模块import numpy as npimport operatorfrom os import listdirdef img2vector...

from math import log数据集链接计算给定数据集的香农熵def calcShannonEnt(dataSet): numEntries=len(dataSet) labelCounts={} for featVec in dataSet: currentLabel=featVec[-1] #print('cal...