k近邻法输入是实例的特征向量,对应特征空间的点,输出为实例的类别,可以取多类。
3.1 k近邻算法
给定一个训练数据集,对于新输入的实例,找到与该实例最相近的k个实例,这k个实例又属于某个类,就把该输入实例分为这个类。
3.2 k近邻模型
k近邻模型有三个基本要素:距离度量,k值的选择,分类决策规则
3.2.1 模型
特征空间中,对于每一个训练输入实例,距离该点更近的所有点组成一个区域,叫做单元,每个实例拥有一个单元,所有训练实例点的单元构成对特征空间的一个划分。
3.2.2 距离度量
特征空间中两个实例点的距离是其相似程度的度量。
3.2.3 k值的选择
k值过小,近似误差减小,但估计误差变大模型复杂,容易过拟合;k值过大,近似误差增大,但估计误差减小,模型简单。
应用中一般k取较小的值,使用交叉验证来选择最优的值。
3.2.4 分类决策规则
多数表决,等价于经验风险最小化
3.3 k近邻的实现:kd树
3.3.1 构造kd树
kd树是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构,是二叉树。构造kd树相当于不断用垂直于坐标轴的超平面将k维空间切分。
构造kd树的方法如下:构造根节点,使用下面的递归方法不断对k维空间进行切分。
3.3.2 搜索kd树
使用kd树进行搜索,可以省去对大部分数据点的搜索,从而减少搜索量。
统计学习方法:k近邻法
最新推荐文章于 2018-08-19 22:06:21 发布