02_感知机【机器学习基石】

02_感知机

一、概念

最终要得到的输出是（Y/N）正例或反例，这种对样本二分类的问题，通常用感知机解决。感知机就是通过对输入向量的各个元素进行加权线性组合，根据得到的分数来判定是正例还是反例。在假设空间中，选取 $w\text{w}w$ 作为对目标 ${w\text{w}w}^{\ast }$ 的近似。$X$ 为样本输入矩阵。
$$h(X)=sign({w\text{w}w}^{T}X)$$

二、策略

假设空间 $H$ 是一个无限大的集合，里面是无穷无尽的对所有样本进行二分的空间平面（或二维直线）采取“不断修正”的方法来试探到一个在数据集上表现不错的 $w\text{w}w$ 。

我们先设定一个初始的 ${w\text{w}w}_0$ ，用它去对每个样本进行二分；对于某个样本点，如果分类正确，那么就看下一个，如果分类不正确，那就说明需要修正 $w\text{w}w$ ，具体的做法是：

满足 $h(x)=sign({\sum }_{i=1}^n{w}_i{x}_i)\ne y_i$ 的样本 $(x\text{x}x,y)$ ，视为误分类点；在物理意义上，是内积$w\text{w}w\cdot {x\text{x}x}_i$ 的结果的正负性和标记 y i ∈ { + 1 , − 1 } y_i \in \{+1,-1\} yi​∈{+1,−1} 的正负性不一致；因此我们用正确的方向对 $w\text{w}w$ 进行修正，即 $w\text{w}w:=w\text{w}w+y_i{x\text{x}x}_i$ ，让 $w\text{w}w$ 向 ${x\text{x}x}_i$ 的方向靠拢，这就会使 $w\text{w}w$ 的平面将 ${x\text{x}x}_i$ 划入正确的范围，就能让新的 $w\text{w}w$ 和 ${x\text{x}x}_i$ 做内积的正负性与 $y_i$ 一致。这样就更新了 $w\text{w}w$ ，再看下一个点。

三、算法

1. PLA

我们将策略部分的内容总结为一个算法，叫作PLA (Perceptron Linear Algorithm)。

算法描述

对于所有样本点 $({x\text{x}x}_i,y_i)$ 迭代执行，对于第 $t$ 次迭代：

• $h({x\text{x}x}_i)=sign({w\text{w}w}^T{x\text{x}x}_i)={\sum }_{j=0}^{d}sign(w_j{x\text{x}x}_{ij})$ ；

• 判断 $h({x\text{x}x}_i)$ ，如果 $h(x_i)\ne y_i$，则 ${w\text{w}w}_{t+1}={w\text{w}w}_t+y_i{x\text{x}x}_i$ 修正 $w\text{w}w$ 。然后重新迭代看所有样本点。

最终所有点都能够正确分类为止。

2. pocket PLA

线性可分是PLA收敛的必要条件，线性可分的充要条件就是存在一个 ${w\text{w}w}_f$ 能够使得对于所有 $x\text{x}x$ 都能分类正确。

PLA的迭代过程实际上就是让 $w\text{w}w$ 不断向 ${w\text{w}w}_f$ 靠拢的过程，从直觉上来讲，这两个向量的内积会不断增大。

当迭代次数达到 $T$ 次时，
$$\begin{gathered} {w\text{w}w}_f^T{w\text{w}w}_T={w\text{w}w}_f^T({w\text{w}w}_t+y_i{x\text{x}x}_i) \\ ={w\text{w}w}_f^T{w\text{w}w}_t+y_i{w\text{w}w}_f^T{x\text{x}x}_i \\ \ge {w\text{w}w}_f^T{w\text{w}w}_t+\underset{i}{\min }{y}_i{w\text{w}w}_f^T{x\text{x}x}_i \\ >{w\text{w}w}_f^T{w\text{w}w}_t+0 \end{gathered}$$
将它从现在的迭代式变为通项式
$$\begin{gathered} {w\text{w}w}_f^T{w\text{w}w}_T={w\text{w}w}_f^T({w\text{w}w}_t+y_i{x\text{x}x}_i) \\ ={w\text{w}w}_f^T{w\text{w}w}_t+y_i{w\text{w}w}_f^T{x\text{x}x}_i \\ \ge {w\text{w}w}_f^T{w\text{w}w}_0+T\ast \underset{i}{\min }{y}_i{w\text{w}w}_f^T{x\text{x}x}_i \\ \ge T\ast \min y_i{w\text{w}w}_f^T{x\text{x}x}_i \end{gathered}$$
同时，对于 ${w\text{w}w}_T$ 有
$$\begin{gathered} ||{w\text{w}w}_T|{|}^2=||{w\text{w}w}_t+y_i{x\text{x}x}_i|{|}^2 \\ =||{w\text{w}w}_t|{|}^2+2y_i{w\text{w}w}_t^T{x\text{x}x}_i+||y_i{x\text{x}x}_i|{|}^2 \\ \le ||{w\text{w}w}_t|{|}^2+0+||y_i{x\text{x}x}_i|{|}^2 \\ \le ||{w\text{w}w}_t|{|}^2+\underset{i}{\max }||{x\text{x}x}_i|{|}^2 \end{gathered}$$
因为所有引起 $w\text{w}w$ 的 $x\text{x}x$ 都是分类错误的点，所以 $2y_i{w\text{w}w}_t^T{x\text{x}x}_i\le 0$ 成立。再将右边放大到最大值的情况后得到。

将它从现在的迭代式变为通项式
$$\begin{gathered} ||{w\text{w}w}_T|{|}^2=||{w\text{w}w}_t+y_i{x\text{x}x}_i|{|}^2 \\ \le ||{w\text{w}w}_t|{|}^2+\underset{i}{\max }||y_i{x\text{x}x}_i|{|}^2 \\ \le ||{w\text{w}w}_0|{|}^2+T\ast \underset{i}{\max }||y_i{x\text{x}x}_i|{|}^2 \\ \le T\ast \underset{i}{\max }||{x\text{x}x}_i|{|}^2 \end{gathered}$$

推导迭代次数的极限

我们将 ${w\text{w}w}_f$ 和 ${w\text{w}w}_T$ 做标准化后，得到的内积结果就是单纯的 $\cos$ 值，这个值慢慢变大并趋近于1则说明迭代的 $w\text{w}w$ 越来越接近目标。
$$\frac{{w\text{w}w}_f^T{w\text{w}w}_T}{||{w\text{w}w}_f||\cdot ||{w\text{w}w}_T||}\ge \sqrt{T}\cdot constant$$
由前面的通项式可以得到
$$\begin{gathered} \frac{1}{||{w\text{w}w}_T|{|}^2}\ge \frac{1}{T\ast {\max }_i||{x\text{x}x}_i|{|}^2} \\ \frac{1}{||{w\text{w}w}_T||}\ge \frac{1}{\sqrt{T}\ast {\max }_i||{x\text{x}x}_i||} \end{gathered}$$
于是有
$$\begin{gathered} 1\ge \frac{{w\text{w}w}_f^T{w\text{w}w}_T}{||{w\text{w}w}_f||\cdot ||{w\text{w}w}_T||}\ge \frac{T\ast \min y_i{w\text{w}w}_f^T{x\text{x}x}_i}{||{w\text{w}w}_f||\ast \sqrt{T}\ast {\max }_i||{x\text{x}x}_i||} \\ \ge \frac{\sqrt{T}\ast \min y_i{w\text{w}w}_f^T{x\text{x}x}_i}{||{w\text{w}w}_f||\ast {\max }_i||{x\text{x}x}_i||} \end{gathered}$$
可以计算出迭代次数 $T$ 的极限满足
$$\sqrt{T}\le \frac{||{w\text{w}w}_f||\ast {\max }_i||{x\text{x}x}_i||}{\min y_i{w\text{w}w}_f^T{x\text{x}x}_i}$$
如果
$$\begin{gathered} \rho =\min y_i\frac{{w\text{w}w}_f^T}{||{w\text{w}w}_f||}{x\text{x}x}_i \\ {R}^2=\underset{i}{\max }||{x\text{x}x}_i|{|}^2 \end{gathered}$$
就可以得出迭代极限
$$\begin{gathered} T\le \frac{||{w\text{w}w}_f|{|}^2\ast {\max }_i||{x\text{x}x}_i|{|}^2}{(\min y_i{w\text{w}w}_f^T{x\text{x}x}_i{)}^2} \\ =\frac{R^2}{{\rho }^2} \end{gathered}$$
这是在线性可分的情况下，但我们预先并不知道数据集是不是线性可分的。 所以我们在一种不知道PLA不会不停，多久会停的情况下。

在实际情况中（考虑噪声）我们期待得到的是一个能够使错误分类点达到最小的 ${w\text{w}w}_g$ 作为对目标的近似。但从茫茫人海的假设空间 $H$ 中要找到这么一个精确的 ${w\text{w}w}_g$ 是一个NP-hard问题；所以我们采用一些方法来近似这个 ${w\text{w}w}_g$ 。pocket-PLA就是一种，我们只保留从当前看最好的那个 $w\text{w}w$ 。

算法描述

和PLA类似，迭代对每个点都有：

• 如果在该点犯错误，则更新 ${w\text{w}w}_{t+1}={w\text{w}w}_t+y_i{x\text{x}x}_i$

• 然后再和当前的 ${w\text{w}w}_t$ 在所有样本点的效果上进行对比，即比较各自的
  $$\sum _{i=1}^M[sign(h({x\text{x}x}_i))\ne y_i]M为误分类点的数量$$
  取能够让上式较小的那个（就是犯错误少的那个）作为 ${w\text{w}w}_{t+1}$ ，也就是说，如果 ${w\text{w}w}_t$ 犯的错误反而少的话，就保留它而不更新。

通过这个算法，能够得到一个还不错的perceptron。

不难发现，如果最终发现数据集确实线性可分，相比于直接使用PLA，pocket-PLA由于每碰到一个错误分类点都要重新遍历一遍数据集以对比分类效果，耗时就要长一些；所以对于线性可分的数据集来说，pocket-PLA要比PLA慢一些。