统计学习方法第二章——感知机

2.1 感知机模型

形如$f(X)=sign(w\cdot x+b)$的函数称为感知机，其中w和b为感知机模型参数，w叫作权值，b叫作偏置，$w\cdot x$表示w和x的内积。sigh是符号函数，即
$$\mathrm{sign}(x)=\{\begin{array}{ll}+1,& x⩾0\\ -1,& x<0\end{array}$$
感知机有如下几何解释：线性方程$w\cdot x+b=0$对应于特征空间中的一个超平面S，其中w是超平面的方向量，b是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点分别称为正、负两类。因此，超平面S称为分离超平面，如下图所示。

2.2 感知机学习策略

首先空间中任一点$x_0$到超平面的S的距离为：
$$\frac{1}{\Vert w\Vert }\left|w\cdot x_0+b\right|$$
这里, $\Vert w\Vert$ 是 $w$ 的 $L_2$ 范数。(不知道怎么得出来的可以点这里)

这样，假设超平面S的误分类点集合为M，那么所有误分类点到超平面S的总距离为
$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
不考虑前面的系数，就得到感知机学习的损失函数
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
其中M为误分类点的集合，并且损失函数就是感知机学习的经验风险函数。

2.3 感知机学习算法

2.3.1 感知机学习算法的原始形式

求参数w,b，使其为一下损失函数极小化问题的解
$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$
其中 $M$ 为误分类点的集合。那么损失函数$L(w,b)$的梯度由以下式子给出
$$\begin{array}{c}{\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i\\ {\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i\end{array}$$
随机选取一个误分类点$(x_i,y_i)$，对w，b进行更新：
$$\begin{gathered} w\leftarrow w+\eta y_i{x}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$
其中$\eta$是步长，又可以叫为学习率(learing rate)。接下来看一个例子

2.3.2 算法的收敛性

为了便于叙述和推导，将偏置b并入权重向量w，记作$\hat{w}=(w^T,b{)}^T$，同样也将输入向量加以扩充，加进常数1，记作$\hat{x}=(x^T,1{)}^T$。显然，$\hat{w}\cdot \hat{x}=w\cdot x+b$

Novikoff定理( 1 ) 存在满足条件 $\Vert {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\Vert =1$ 的超平面 ${\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot \hat{x}=w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x+b_{\mathrm{o}\mathrm{p}\mathrm{t}}=0$ 将训练数 据集完全正确分开; 且存在 $\gamma >0$, 对所有 $i=1,2,\cdots ,N$
$$y_i\left({\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot {\hat{x}}_i\right)=y_i\left(w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x_i+b_{\mathrm{o}\mathrm{p}\mathrm{t}}\right)⩾\gamma$$
( 2 ) 令 $R=\underset{1⩽i⩽N}{\max }\Vert {\hat{x}}_i\Vert$, 则感知机算法 $2.1$ 在训练数据集上的误分类次数 $k$ 满足 不等式
$$k⩽{\left(\frac{R}{\gamma }\right)}^2$$
证明 (1) 由于训练数据集是线性可分的, 按照定义 $2.2$, 存在超平面可将训练数 据集完全正确分开, 取此超平面为 ${\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot \hat{x}=w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x+b_{\mathrm{o}\mathrm{p}\mathrm{t}}=0$, 使 $\Vert {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\Vert =1$ 。由 于对有限的 $i=1,2,\cdots ,N$, 均有
$$y_i\left({\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot {\hat{x}}_i\right)=y_i\left(w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x_i+b_{\mathrm{o}\mathrm{p}\mathrm{t}}\right)>0$$
所以存在
γ = min ⁡ i { y i ( w o p t ⋅ x i + b o p t ) } \gamma=\min _{i}\left\{y_{i}\left(w_{\mathrm{opt}} \cdot x_{i}+b_{\mathrm{opt}}\right)\right\} γ=imin​{yi​(wopt​⋅xi​+bopt​)}
使
$$y_i\left({\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot {\hat{x}}_i\right)=y_i\left(w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x_i+b_{\mathrm{o}\mathrm{p}\mathrm{t}}\right)⩾\gamma$$
(2)第一个不等式$\widehat{w_k}\cdot {\hat{w}}_{opt}⩾k\eta \gamma$书上给出的过程已经很详细了，这边就不证明了，主要是补充一下第二个不等式的证明。
$$\begin{array}{rl}{\Vert {\hat{w}}_k\Vert }^2& ={\Vert {\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i\Vert }^2\\ & ={\Vert {\hat{w}}_{k-1}\Vert }^2+2\eta y_i{\hat{w}}_{k-1}\bullet {\hat{x}}_i+{\eta }^2{y}_i^2{\Vert {\hat{x}}_i\Vert }^2\\ & ={\Vert {\hat{w}}_{k-1}\Vert }^2+2\eta y_i{\hat{w}}_{k-1}\bullet {\hat{x}}_i+{\eta }^2{\Vert {\hat{x}}_i\Vert }^2\\ & \le {\Vert {\hat{w}}_{k-1}\Vert }^2+{\eta }^2{\Vert {\hat{x}}_i\Vert }^2\le {\Vert {\hat{w}}_{k-1}\Vert }^2+{\eta }^2{R}^2\\ & \le {\Vert {\hat{w}}_{k-2}\Vert }^2+2{\eta }^2{R}^2\le \cdots \le k{\eta }^2{R}^2\end{array}$$
上式中的等号变为小于等于号，是因为第k类在开头就已经假设为误分类的因此$2\eta y_i{\hat{w}}_{k-1}\cdot {\hat{x}}_i$这一项是负的，所以不等式成立。结合两个不等式得到如下
$$\begin{array}{rl}& k\eta \gamma ⩽{\hat{w}}_k\cdot {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}=\Vert {\hat{w}}_k\Vert \Vert {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\Vert cos\theta ⩽\Vert {\hat{w}}_k\Vert \Vert {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\Vert ⩽\sqrt{k}\eta R\\ & k^2{\gamma }^2⩽k{R}^2\end{array}$$
于是
$$k⩽{\left(\frac{R}{\gamma }\right)}^2$$

2.3.3 感知机学习算法的对偶形式

用Gram矩阵预先将训练集中实例间的内积计算出来并存储

看书上的例子2.2

习题

2.1

感知机是线性模型，不能表示复杂的函数，而异或是线性不可分的，因此感知机不能表示为异或。