一.KNN模型介绍
k临近算法:给定一个训练数据集,对于新输入的实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类。
在这个模型中,当训练数据集,距离度量,k值以及分类决策规则(如多数表决)确定后,对于任何一个新输入的实例,它所属的类唯一确定。
二.kd树的构造
该算法的主要问题是如何快速找到k个最邻近点,可以采用树形结构,即kd树:
k临近算法:给定一个训练数据集,对于新输入的实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类。
在这个模型中,当训练数据集,距离度量,k值以及分类决策规则(如多数表决)确定后,对于任何一个新输入的实例,它所属的类唯一确定。
该算法的主要问题是如何快速找到k个最邻近点,可以采用树形结构,即kd树: