K近邻
1． k k k近邻法是基本且简单的分类与回归方法，在统计学习方法书中只讨论分类问题。其输入为实例的特征向量，对应特征空间的点；输出为实例的类别。
k k k近邻法的基本做法是：对给定的训练实例点和输入实例点，首先确定输入实例点的 k k k个最近邻训练实例点，然后利用这 k k k个训练实例点的类的多数来预测输入实例点的类。算法简单、直观。
2． k k k近邻模型对应于基于训练数据集对特征空间的一个划分。
k k k近邻法中，当训练集、距离度量、 k k k值及分类决策规则确定后，其结果唯一确定。
3． k k k近邻法三要素：距离度量、 k k k值的选择和分类决策规则。
常用的距离度量是欧氏距离及更一般的pL距离。 k k k值小时， k k k近邻模型更复杂； k k k值大时， k k k近邻模型更简单。 k k k值的选择反映了对近似误差与估计误差之间的权衡，通常由交叉验证选择最优的 k k k。
常用的分类决策规则是多数表决，等价于经验风险最小化。
4． k k k近邻法的实现需要考虑如何快速搜索k个最近邻点。
kd树是一种便于对k维空间中的数据进行快速检索的数据结构。kd树是二叉树，表示对 k k k维空间的一个划分，其每个结点对应于 k k k维空间划分中的一个超矩形区域。利用kd树可以省去对大部分数据点的搜索， 从而减少搜索的计算量。
距离度量
设特征空间 x x x是 n n n维实数向量空间 ， x i , x j ∈ X x_{i}, x_{j} \in \mathcal{X} xi,xj∈X, x i = ( x i ( 1 ) , x i ( 2 ) , ⋯ , x i ( n ) ) T x_{i}=\left(x_{i}^{(1)}, x_{i}^{(2)}, \cdots, x_{i}^{(n)}\right)^{\mathrm{T}} xi=(xi(1),xi(2),⋯,xi(n))T, x j = ( x j ( 1 ) , x j ( 2 ) , ⋯ , x j ( n ) ) T x_{j}=\left(x_{j}^{(1)}, x_{j}^{(2)}, \cdots, x_{j}^{(n)}\right)^{\mathrm{T}} xj=(xj(1),xj(2),⋯,xj(n))T ，则： x i x_i xi
最低0.47元/天 解锁文章
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
