03 K近邻法——读书笔记

最新推荐文章于 2020-08-15 23:03:51 发布

Sally Y

最新推荐文章于 2020-08-15 23:03:51 发布

阅读量376

点赞数

分类专栏：机器学习/深度学习文章标签： K近邻法统计学习方法读书笔记

本文链接：https://blog.csdn.net/yuxy411/article/details/103437076

版权

机器学习/深度学习专栏收录该内容

13 篇文章 1 订阅

订阅专栏

一、思维导图：

二、基本概念：

$k$ 近邻法：是一种基本分类和回归方法。给定一个训练数据集，其中的类别已经确定，对于输入的实例，在训练数据集中找到与该实例最邻近的 $k$ 个实例，这 $k$ 个实例中多数属于的类别就作为输入实例的类别输出。
最近邻：是 $k$ 近邻方法的一种特殊情况，即当 $k = 1$ 时的情形。
显式学习过程：即在学习过程中需要进行加工， $k$ 近邻方法不属于显式学习过程。
单元：对于每个训练实例点 $x$ ，距离该点比其他点更近的所有点组成的一个区域称为单元。
特征空间的一个划分：每个训练实例点都拥有一个单元，所有训练实例点的单元构成对特征空间的一个划分。

三、k近邻算法：

算法定义：
输入：训练数据集 $T=\begin{Bmatrix} (x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N}) \end{Bmatrix}$ ，其中， $x_{i}\in \chi \subseteq R^{n}$ 为实例的特征向量， $y_{i}\in \gamma =\begin{Bmatrix} c_{1},c_{2},...,c_{K} \end{Bmatrix}$ 为实例的类别， $i = 1, 2, . . ., N$ ；
实例特征向量 $x$ 。
输出：实例 $x$ 所属的类别 $y$ 。
（1）根据给定的距离度量，在训练集 $T$ 中找出与 $x$ 最近邻的 $k$ 个点，称涵盖这 $k$ 个点的 $x$ 的邻域记作 $N_{k}(x)$ ；
（2）在这 $N_{k}(x)$ 中根据分类决策规则（如多数表决）决定 $x$ 的类别 $y$ ，规则如下:
$\: max_{c_{j}}\sum_{x_{i}\in N_{k}(x)} I(y_{i}=c_{j}),\: i=1,2,...,N;j=1,2,...,K.$
其中， $I$ 是指示函数，即当 $y_{i}=c_{j}$ 时， $I$ =1，否则 $I$ =0。

四、k近邻模型：

模型：
$k$ 近邻模型实际上是对特征空间的划分。模型主要有三个基本要素——距离度量、 $k$ 值的选择、分类决策规则。当这些元素确定之后，实例 $x$ 的类别就唯一地确定了。这相当于根据要素将特征空间划分为一些子空间，确定子空间里每个点属于的类。
距离度量：
前提：特征空间中两个实例点之间的距离就是两个实例点相似程度的反映。使用的距离为欧氏距离或者更为一般的 $L_{p}$ 距离。
① $L_{p}$ 距离： $L_{p}(x_{i},x_{j})=(\sum_{l=1}^{n}\left | x_{i}^{(l)}-x_{j}^{(l)} \right |^p)^\frac{1}{p}$ 其中，特征空间 $\chi$ 是 $n$ 维实数向量空间 $R_{n}$ ， $x_{i},x_{j}\in \chi，x_{i}=（x_{i}^{(1)},x_{i}^{(2)},...,x_{i}^{(n)}）,x_{j}=（x_{j}^{(1)},x_{j}^{(2)},...,x_{j}^{(n)}）$
②欧氏距离（当 $p = 2$ 时）：
$L_{2}(x_{i},x_{j})=(\sum_{l=1}^{n}\left | x_{i}^{(l)}-x_{j}^{(l)} \right |^2)^\frac{1}{2}$
③曼哈顿距离（当 $p = 1$ 时）：
$L_{1}(x_{i},x_{j})=(\sum_{l=1}^{n}\left | x_{i}^{(l)}-x_{j}^{(l)} \right |)$
④各个坐标距离的最大值（当 $p=\infty$ 时）：
$L_{\infty}(x_{i},x_{j})=max_{l}\left | x_{i}^{(l)}-x_{j}^{(l)} \right |$
$k$ 值的选择：
$k$ 值的选择会对 $k$ 近邻法的结果产生重大影响，在应用中，一般会选取比较小的值，通常采用交叉验证法来选取最优的 $k$ 值。
① $k$ 值选取过小，会降低模型的近似误差，但是缺点是估计误差会增大，距离实例点较近的点对预测结果有较大影响，会导致模型过于复杂，还可能产生过拟合问题；
② $k$ 值选取过大，使得模型过于简单，与 $k$ 值选取过小相反，离实例点较远的点会对预测结果产生错误影响。
分类决策规则：
分类决策规则往往是多数表决。

五、k近邻法的实现：kd树：

构造 $k d$ 树：
算法3.2（构造平衡 $k d$ 树）：
输入： $k$ 维空间数据集 $T=\begin{Bmatrix} x_{1},x_{2},...,x_{N} \end{Bmatrix}，$ 其中 $x_{i}=（x_{i}^{(1)},x_{i}^{(2)},...,x_{i}^{(k)}）^{T}，i=1,2,...,N;$
输出： $k d$ 树
(1) 开始：构造根结点，根结点对应包含 $T$ 的 $k$ 维空间的超矩形区域。
选择 $x^{(1)}$ 为坐标轴，以 $T$ 中所有实例的 $x^{(1)}$ 坐标的中位数为切分点，将根结点对应的超矩形区域分为两个子区域。切分由通过切分点并与坐标轴 $x^{(1)}$ 垂直的超平面实现。
由根结点生成深度为1的左右子节点；左子结点对应坐标 $x^{(1)}$ 小于切分点的子区域，右结点对应于坐标 $x^{(1)}$ 大于切分点的子区域。
将落在切分超平面上的实例点保存在根结点。
(2) 重复：对深度为 $j$ 的结点，选择 $x^{(l)}$ 为切分的坐标轴，其中 $\: k)+1$ ，以该结点的区域中所有实例的 $x^{(l)}$ 坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个子区域。切分由通过切分点并与坐标轴 $x^{(l)}$ 垂直的超平面实现。
由该结点生成深度为 $j + 1$ 的左、右子结点；
将落在切分超平面上的实例点保存在该结点。
(3) 直到两个子区域没有实例存在时停止。从而形成 $k d$ 树的区域划分。
搜索 $k d$ 树：
算法3.3（用 $k d$ 树的最近邻搜索）：
输入：已构造的 $k d$ 树，目标点 $x$ ；
输出： $x$ 的最近邻。
（1）在 $k d$ 树中找出包含目标点 $x$ 的叶节点：从根节点出发，递归地向下访问 $k d$ 树。若目标点 $x$ 当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点。直到子节点为叶节点为止。
（2）以此叶节点为“当前最近点”。
（3）递归地向上回退，在每个节点进行以下操作：
（a）如果该节点保存的实例点比当前最近点距离目标点更近，则以该实例点为“当前最近点”。
（b）当前最近点一定存在于该节点一个子节点对应的区域。检查该子节点的父节点的另一子节点对应的区域是否有更近的点。具体地，检查另一子节点对应的区域是否与以目标点为球心、以目标点与“当前最近点”间的距离为半径的超球体相交。
如果相交，可能在另一个子节点对应的区域内存在距目标点更近的点，移动到另一子节点。接着，递归地进行最近邻搜索；
如果不想交，向上回退。
（4）当回退到根节点时，搜索结束。最后的“当前最近点”即为 $x$ 的最近邻点。