知识点九:K近邻算法工作原理
1、工作原理介绍
存在一个训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前K个最相似的数据,这就是K近邻算法中K的出处,通常K是不大于20的整数。最后,选择K个最相似数据中出现次数最多的分类,作为新数据的分类。
2、原理背后的数学知识
训练数据是什么结构呢?见下图的表格:
从上图可以看出来:
(1)X1,
X2…X5和Y1是一种依赖关系,依赖就是函数,而函数也就是模型。
(2)X1,
X2…X5是特征,从数学的角度来看,它们都是向量X的分量,再此,引出了向量概念,注意以后很多的场景都会用到向量这个概念。
(3)如果Y1和Y2是同一事物,那么各个特性之间的差别是零。如果Y1和Y2是相似事物,那么各个特性之间的差别是近似零。根据这个道理可知,Y1和Y2相差的程度,是通过各个特征相减来度量的,也就是欧式距离: