统计学习方法笔记第二章-感知机

感知机的介绍：感知机是一个 二分类的线性分类模型，输入为特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于 判别模型。
感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数（lost function），利用梯度下降法对损失函数进行极小化，求得感知机模型。
感知机学习算法具有 简单而易于实现的优点，分为原始形式和对偶形式。感知机预测是用学习得到的感知机模型对新的输入实例进行分类。

2.1 感知机模型

def2.1（感知机）：假设输入空间（特征空间）是$\mathcal{X}$⊆Rⁿ,输出空间$\mathcal{Y}$={+1,-1}。输入x∈$\mathcal{X}$表示实例的特征向量，对应于输入空间的点；输出y∈$\mathcal{Y}$表示实例的类别。由输入空间到输出空间的如下函数：

f(x) = sign(w·x+b)

称为感知机。其中，w和b为感知机的模型参数，w∈Rⁿ叫做权重（weight）或权值向量，b∈Rⁿ叫做偏置（bias），w·x表示w和x的内积。sign是符号函数，即

$$sign(x)=\{\begin{array}{c}+1，x\ge 1\\ -1,x<0\end{array}$$

感知机是一种线性分类模型，属于判别模型。

2.2感知机学习策略

2.2.1数据集的线性可分型

def2.2（数据集的线性可分型） 给定一个数据集
$$T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$$
其中，x_i∈$\mathcal{X}$=Rⁿ,y_i$\mathcal{Y}$={+1,-1},i=1,2,…N,如果存在某个超平面S：
$$w\cdot x+b=0$$
可以将数据集中的正实例点和负实例点完全正确的划分到超平面两侧，则称数据集T为线性可分数据集，反之为线性不可分数据集。

2.2.2感知机学习策略

若数据集是线性可分的，那我们就要找到这个可以分离出两类的超平面，为了找到这个超平面即确定模型参数w和b，我们需要制定一个学习策略，即定义损失函数并极小化这个损失函数。
这里我们选择误分类点到超平面S的总距离的损失函数。首先我们写出输入空间Rⁿ中任一点到超平面S的距离：
$$\frac{1}{||w||}|w\cdot x_0+b|$$
这里，||w||是w的L₂范数。
其次，对于误分类的数据(x_i,y_i)来说,
$$-y_i(w\cdot x_i)+b>0$$
一定成立，所以x_i到超平面的距离是
$$-\frac{1}{||w||}{y}_i(w\cdot x_i+b)$$
这样，假设超平面S的误分类点集合为M，那么所有误分类点到S的总距离为：
$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
不考虑1/||w||,就得到感知机学习的损失函数。（因为1/||w||就是一个常数，对于衡量损失的大小没有影响）
给定训练数据集$$T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$$其中，x_i∈$\mathcal{X}$=Rⁿ, y_i∈$\mathcal{Y}$={+1,-1}, i=1,2,…N，感知机sign(w·x+b)学习的损失函数定义为：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)（2.4）$$

这里M是误分类点的集合，这个损失函数就是**感知机学习的经验风险函数**。

2.3感知机学习算法

感知机问题转化为对损失函数的最优化问题，最优化方法为随机梯度下降法。本节叙述感知机学习的具体算法，并证明在训练数据线性可分条件下感知机学习算法的收敛性。

2.3.1感知机算法的原始形式

感知机算法是对一下最优化问题的算法。首先给定一个数据集：
$$T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$$其中，x_i∈$\mathcal{X}$=Rⁿ, y_i∈$\mathcal{Y}$={+1,-1}, i=1,2,…N，求参数 w, b，使其为以下损失函数极小化问题的解：
$$mi{n}_{w,b}L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
M是误分类点的集合。
感知机算法是误分类驱动的，具体采用随机梯度下降法（stochastic gradient descent）。具体的方法首先选取一个超平面w₀,b₀,然后用梯度下降法不断极小化目标函数。这个极小化过程不是一次使M中所有误分类点的梯度下降，而是一次选取一个误分类点使其梯度下降。
设M是固定的，那么损失函数$L(w,b)$的梯度由
$${\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i$$
$${\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i$$
给出
然后随机选取一个误分类点，对$w,b$进行更新：
$$w\leftarrow w+\eta y_i{x}_i$$
$$b\leftarrow b+\eta y_i$$
式中的$\eta (0\le \eta \le 1)$是步长，在统计学习中又被称作学习率（learing rate）。这样，通过迭代可以期待损失函数不断减小，直到为0.综上所述，得到下面的算法：
算法2.1（感知机学习算法的原始形式）
输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\lbrace{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)}\rbrace T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中，x_i∈$\mathcal{X}$=Rⁿ, y_i∈$\mathcal{Y}$={+1,-1}, i=1,2,…N;学习率$\eta (0\le \eta \le 1)$;
输出：$w,b$;感知机模型$f(x)=sign(w\cdot x+b)$.
(1)选取初值$w_0,b_0$;
(2)在训练集中选取数据$(x_i,y_i)$
(3)如果$y_i(w\cdot x_i+b)\le 0$,
$$w\leftarrow w+\eta y_i{x}_i$$$$b\leftarrow b+\eta y_i$$
(4)转至（2），直至训练集中没有误分类点。
这种学习算法有如下的直观的解释：当一个实例点被误分类，即位于分离超平面的错误的一侧，则调整$w,b$的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面的距离，直至超平面越过该误分类点使其被正确分类。

2.3.2算法的收敛性

本节证明对于线性可分数据集感知机学习算法原始形式收敛，即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面和感知机模型。
为了便于叙述与推导，将偏置$b$并入权重向量$w$，记做$\hat{w}=(w^T,b{)}^T$，同样也将输入向量加以扩充，加进常数1，记做$\hat{x}=(x^T,1{)}^T$.这样，$\hat{x}\in R^{n+1}$,$\hat{w}\in R^{n+1}$,显然，$\hat{w}\cdot \hat{x}=w\cdot x+b$.
**定理2.1（Novikoff）**设训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\lbrace{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)}\rbrace T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中，x_i∈$\mathcal{X}$=Rⁿ, y_i∈$\mathcal{Y}$={+1,-1}, i=1,2,…N，则
（1）存在满足条件$||{\hat{w}}_{opt}||=1$的超平面${\hat{w}}_{opt}\cdot \hat{x}=w_{opt}\cdot x+b_{opt}=0$将数据集完全正确分开，且存在$\gamma >0$，对所有$i=1,2,...,N$
$$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)=y_i(w_{opt}\cdot x+b_{opt})\ge \gamma$$
(2)令$R=ma{x}_{1\ge i\ge N}||{\hat{x}}_i||$,则感知机算法在训练数据集上对误分类次数$k$满足不等式：
$$k\le (\frac{R}{\gamma }{)}^2$$

Proof:(1)因为训练集线性可分，那就一定存在一个超平面将数据集完全正确的分开，取该超平面为${\hat{w}}_{opt}\cdot \hat{x}=w_{opt}\cdot x+b_{opt}=0$，$||{\hat{w}}_{opt}||=1$，对于$i=1,2...,N$,均有
$$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)=y_i(w_{opt}\cdot x+b_{opt})>0$$
所以存在
γ = m i n i { y i ( w o p t ⋅ x + b o p t ) } \gamma=min_i \lbrace{y_i(w_{opt}·x+b_{opt})\rbrace} γ=mini​{yi​(wopt​⋅x+bopt​)}
使得
$$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)=y_i(w_{opt}\cdot x+b_{opt})\ge \gamma$$

(2)我们令感知机算法从${\hat{w}}_0=0$开始更新权重，令${\hat{w}}_{k-1}$为第$k-1$次更新完权重，即
$${\hat{w}}_{k-1}=(w_{k-1}^T,b_{k-1}{)}^T$$
所以还存在误分类实例$(x_i,y_i)$，这个误分类实例在$k-1$次更新后的条件下，满足下式：
$$y_i({\hat{w}}_{k-1}\cdot {\hat{x}}_i)=y_i(w_{k-1}\cdot x+b_{k-1})\le 0$$
则$w,b$将经过第K次更新
$$w_k\leftarrow w_{k-1}+\eta x_i{y}_i$$
$$b_k\leftarrow b_{k-1}+\eta y_i$$
即
$${\hat{w}}_k\leftarrow {\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i$$
因为
$$\begin{array}{rl}{\hat{w}}_k\cdot {\hat{w}}_{opt}& =({\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i){\hat{w}}_{opt}\\ & ={\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta y_i{\hat{x}}_i{\hat{w}}_{opt}\\ & \ge {\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta \gamma \end{array}$$
这样我们可以通过递推得到
$$\begin{array}{rl}{\hat{w}}_k\cdot {\hat{w}}_{opt}& \ge {\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta \gamma \\ & \ge {\hat{w}}_{k-2}\cdot {\hat{w}}_{opt}+\eta \gamma \\ & \ge ...\\ & \ge k\eta \gamma (因为{\hat{w}}_0=0)\end{array}$$

接下来再证明：
$$||{\hat{w}}_k|{|}^2\le k{\eta }^2{\gamma }^2$$
因为${\hat{w}}_k={\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i$
所以我们有
$$\begin{array}{rl}||{\hat{w}}_k|{|}^2& =||{\hat{w}}_{k-1}|{|}^2+2\eta y_i{\hat{w}}_{k-1}\cdot {\hat{x}}_i+{\eta }^2||{\hat{x}}_i|{|}^2\\ & \le ||{\hat{w}}_{k-1}|{|}^2+{\eta }^2||{\hat{x}}_i|{|}^2\\ & \le ||{\hat{w}}_{k-1}|{|}^2+{\eta }^2{R}^2\\ & \le ||{\hat{w}}_{k-2}|{|}^2+2{\eta }^2{R}^2\\ & \le ...\\ & \le ||{\hat{w}}_0|{|}^2+k{\eta }^2{R}^2\\ & =k{\eta }^2{R}^2\end{array}$$
根据上面两个结论我们有：
$$k\eta \gamma \le {\hat{w}}_k\cdot {\hat{w}}_{opt}\le ||{\hat{w}}_k||\cdot ||{\hat{w}}_{opt}||\le \sqrt{k}\eta \gamma$$
所以
$$k\le (\frac{R}{\gamma }{)}^2$$

上面这个证明说明了如果数据集是线性可分的那么一定可以通过有限次迭代来使得算法收敛。