监督学习-分类模型

K临近（KNN）

• 最简单最初级的分类器， 就是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类.
• K近邻(k-nearest neighbour, KNN) 是一种基本分类方法，通过测量不同特征值之间的距离进行分类。它的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数
• KNN算法中， 所选择的邻居都是已经正确分类的对象

KNN计算距离

KNN中，通过计算对象间距离来作为各个对象之间的非相似性指标，避免了对象之间的匹配问题，在这里距离一般使用欧氏距离或曼哈顿距离:

KNN算法

在训练集中数据和标签已知的情况下，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集中与之最为相似的前K个数据,则该测试数据对应的类别就是K个数据中出现次数最多的那个分类，其算法的描述为:
a)计算测试数据与各 个训练数据之间的距离;
b)按照距离的递增关 系进行排序;
c)选取距离最小的K个点;
d)确定前K个点所在类别的出现频率;
e)返回前K个点中出现频率最高的类别作为测试数据的预测分类。