机器学习基石 2.3 Guarantee of PLA

1. Linear Separability

对于一个数据集$\mathcal{D}$，如果PLA能够停下来并且不犯错误，就称这样的$\mathcal{D}$为线性可分的。

2.PLA Fact: ${\mathbf{w}}_{\mathbf{t}}$ Gets More Aligned with ${\mathbf{w}}_{\mathbf{f}}$

数据集$\mathcal{D}$是线性可分的，等价于存在一个完美的 ${\mathbf{w}}_{\mathbf{f}}$，使得
$$y_n=sign({\mathbf{w}}_{\mathbf{t}}^{\mathbf{T}}{w}_n)$$

即
$$\forall n\in [1,N],y_n{\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{n}}>0$$
则对于在第t轮使${\mathbf{w}}_{\mathbf{t}}$犯错的那个${\mathbf{x}}_{\mathbf{n}(\mathbf{t})}$，有

$$y_{n(t)}{\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{n}(\mathbf{t})}⩾min(y_n{\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{n}})>0$$

则

这就说明了${\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}{\mathbf{w}}_{\mathbf{t}}$这个内积是随着t的增大而不断增大的。

3.PLA Fact: ${\mathbf{w}}_{\mathbf{t}}$ Does Not Grow Too Fast

这个算法还有一个重要的性质就是犯错了才修正。

则

由上面两个结论可以推出

证明：
令$$R^2=max(\Vert x_n{\Vert }^2),\rho =min(y_n\frac{{\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}}{\Vert {\mathbf{w}}_{\mathbf{f}}\Vert }{\mathbf{x}}_{\mathbf{n}})$$
当$T=1$时，
$$\frac{{\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}}{\Vert {\mathbf{w}}_{\mathbf{f}}\Vert }\frac{{\mathbf{w}}_1}{\Vert {\mathbf{w}}_1\Vert }⩾\frac{{\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}({\mathbf{w}}_0+min(y_n{\mathbf{x}}_{\mathbf{n}}))}{\Vert {\mathbf{w}}_{\mathbf{f}}\Vert \sqrt{\Vert {\mathbf{w}}_0{\Vert }^2}+max(\Vert {\mathbf{y}}_{\mathbf{n}}{\mathbf{x}}_{\mathbf{n}}{\Vert }^2)}=\frac{{\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}min(y_{n(t)}{\mathbf{x}}_{\mathbf{n}(\mathbf{t})})}{\Vert {\mathbf{w}}_{\mathbf{f}}\Vert \sqrt{max(\Vert {\mathbf{y}}_{\mathbf{n}}{\mathbf{x}}_{\mathbf{n}}{\Vert }^2)}}=\frac{\rho }{R}=constant$$
假设当$T=t$时结论成立，当$T=t+1$时，
$$\frac{{\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}}{\Vert {\mathbf{w}}_{\mathbf{f}}\Vert }\frac{{\mathbf{w}}_{\mathbf{t}+1}}{\Vert {\mathbf{w}}_{\mathbf{t}+1}\Vert }⩾\frac{{\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}({\mathbf{w}}_{\mathbf{t}}+min(y_n{\mathbf{x}}_{\mathbf{n}}))}{\Vert {\mathbf{w}}_{\mathbf{f}}\Vert \sqrt{\Vert {\mathbf{w}}_{\mathbf{t}}{\Vert }^2}+max(\Vert {\mathbf{y}}_{\mathbf{n}}{\mathbf{x}}_{\mathbf{n}}{\Vert }^2)}$$
又因为
$$\frac{{\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}}{\Vert {\mathbf{w}}_{\mathbf{f}}\Vert }\frac{{\mathbf{w}}_{\mathbf{t}}}{\Vert {\mathbf{w}}_{\mathbf{t}}\Vert }⩾\sqrt{t}\cdot \frac{\rho }{R}$$
设
$${\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}{\mathbf{w}}_{\mathbf{t}}=k\rho$$
则
$$\Vert {\mathbf{w}}_{\mathbf{f}}\Vert \Vert {\mathbf{w}}_{\mathbf{t}}\Vert ⩽\frac{k}{\sqrt{t}}R$$
带入易得
$$\frac{{\mathbf{w}}_{\mathbf{f}}^{\mathbf{T}}}{\Vert {\mathbf{w}}_{\mathbf{f}}\Vert }\frac{{\mathbf{w}}_{\mathbf{t}+1}}{\Vert {\mathbf{w}}_{\mathbf{t}+1}\Vert }⩾\sqrt{t+1}\cdot \frac{\rho }{R}$$
得证。

4.Fun Time