【小蓝书系列】感知机

  我们经常能在许多模型中看到MLP，那么MLP是什么呢？其实MLP就是多层感知机(Multi-Layer Perceptron)，下面我们来跟随小蓝书介绍下感知机。感知机呢其实是一个简单的线性二分类模型，其输入自然是实例的特征向量，输出为类别，可记为+1和-1，属于判别模型。

---

2.1 感知机模型

定义2.1（感知机）：输入空间$\chi \subseteq R^n$，输出空间 γ = { + 1 , − 1 } \gamma =\{+1,-1\} γ={+1,−1}，$x\in \chi$表示实例的特征向量，$y\in \gamma$表示实例的类别，则如下映射：
$$f(x)=sign(w\cdot x+b)\text{\hspace{1em}(2-1)}$$
称为感知机，sign是符号函数。其解释如下：
线性方程$w\cdot x+b=0$对应特征空间$R^n$中的一个超平面$S$，$w$是超平面的法向量，$b$是超平面的截距，该超平面自然将特征空间分为两个部分，处于这两部分的点（特征向量）便是两类。

图2-1 感知机模型

---

2.2 感知机学习策略（选择loss）

  对于一个数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } , x ∈ χ = R n , y ∈ γ = { + 1 , − 1 } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},x \in \chi=R^n,y \in \gamma=\{+1,-1\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},x∈χ=Rn,y∈γ={+1,−1}，若存在一个超平面$S$能够将正实例点和负实例点完全正确地划分到超平面两边就称数据集$T$为线性可分数据集。
  现假设训练集是线性可分的，那么现在要用感知机来学习得到一个可以线性划分训练集的一个超平面，即学习得到参数$w$和$b$，这就需要一个学习策略，即找到一个损失函数并将其最小化，那么问题就是如何来衡量分类损失的大小，一个直观的想法是观察误分类点的个数，但是这样选择的话损失函数就不是关于参数的连续可导函数，不易优化，故否决。而最终感知机采用 误分类点到超平面$S$的距离之和 作为损失函数。首先给出输入空间$R^n$中任一点$x_0$到超平面$S$的距离：
$$\frac{1}{||w||}|w\cdot x_0+b|\text{\hspace{1em}(2-2)}$$
至于为什么请看推导过程：

图2-2 任一点到超平面距离推导

因为对于误分类点$(x_i,y_i)$有$-y_i(w\cdot x_i+b)>0$，那么误分类点到超平面的距离可记为：
$$-\frac{1}{||w||}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(2-3)}$$
假设误分类点的集合为$M$，那么所有误分类点到超平面的距离之和为：
$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(2-4)}$$
不考虑$\frac{1}{||w||}$（注：之所以可以不考虑，个人觉得是因为loss的目标肯定是逼近0，那么主要就取决于式(2-4)后面的部分趋于0，因此可以不考虑）
给定一个训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，得到感知机学习的损失函数：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(2-5)}$$
其为连续可导函数。

---

2.3 感知机学习算法

  之前说到算法就是如何根据loss函数求解需要的参数从而得到模型。小蓝书在介绍算法时分为了两种形式：原始形式和对偶形式（后面的SVM也是）。

2.3.1 原始形式

  我们需要求如下最小化问题的解即参数$w,b$：
$$mi{n}_{w,b}L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(2-6)}$$
$M$为误分类点的集合。具体采用的算法是随机梯度下降法（SGD），就是首先选择一个初始的参数值$w_0,b_0$，然后求(2-6)式关于参数的的梯度，用梯度下降来不断更新参数值，随机梯度下降不是一次使$M$中所有误分类点的梯度下降，而是一次只是随机选择一个误分类点使其梯度下降。这里关于俩参数的梯度如下：
$${\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i\text{\hspace{1em}(2-7)}$$
$${\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i\text{\hspace{1em}(2-8)}$$
然后随机选取一个误分类点$(x_i,y_i)$，对参数$w,b$进行更新：
$$w\leftarrow w+\eta y_i{x}_i\text{\hspace{1em}(2-9)}$$
$$b\leftarrow b+\eta y_i\text{\hspace{1em}(2-10)}$$
其中$\eta (0<\eta \le 1)$为步长，又称学习率，这样不断迭代使得Loss趋向于0。直观上的理解就是当一个实例点被误分类时，就会让超平面向着该实例点的方向移动。那么感知机算法的原始形式总结起来如下：
输入：训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，$x_i\in \chi =R^n$， y i ∈ γ = { − 1 , + 1 } y_i \in \gamma=\{-1,+1\} yi​∈γ={−1,+1}
输出：参数$w,b$，即得到感知机模型$f(x)=sign(w\cdot x+b)$
（1） 选取参数初值$w_0,b_0$
（2） 选取一个误分类点$(x_i,y_i)$，即$y_i(w\cdot x_i+b)\le 0$进行随机梯度下降
$$\begin{gathered} w\leftarrow w+\eta y_i{x}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$
（3） 转至（2）直到没有误分类点

如下是小蓝书上的一个简单的例子。

例2.1
给定训练集：正实例点为$x_1=(3,3{)}^T,x_2=(4,3{)}^T$，负实例点为$x_3=(1,1{)}^T$，试用感知机算法的原始形式来求解感知机模型，这里$w=(w^{(1)},w^{(2)}{)}^T,x=(x^{(1)},x^{(2)}{)}^T$。
解： 首先毫无疑问构建最优化模型：
$$mi{n}_{w,b}L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x+b)$$
接下来就是求解参数$w,b$，这里学习率取$\eta =1$。
首这里参数初值取$w_0=(0,0{)}^T,b_0=0$。选取点$x_1=(3,3{)}^T$来更新参数值：
$$\begin{gathered} w_1=w_0+y_1{x}_1=(3,3{)}^T \\ {b}_1=b_0+y_1=1 \end{gathered}$$
此时得到的线性模型为：
$$w_1\cdot x+b_1=3x^{(1)}+3x^{(2)}+1$$
该模型对于点$x_1,x_2$都可以得到$y_i(w_1\cdot x_i+b_1)>0$，即正确分类，但对于点$x_3$却有$y_3(w_1\cdot x_3+b_1)=-7<0$，即错误分类，因此再用点$x_3$来迭代参数如下：
$$\begin{gathered} w_2=w_1+y_3{x}_3=(2,2{)}^T \\ {b}_2=b_1+y_3=0 \end{gathered}$$
得到这次迭代的线性模型：
$$w_2\cdot x+b_2=2x^{(1)}+2x^{(2)}$$
如此迭代下去得到：
$$w_7=(1,1{)}^T,b_7=-3$$
线性模型为：
$$w_7\cdot x+b_7=x^{(1)}+x^{(2)}-3$$
此时不存在误分类点，分离超平面为$x^{(1)}+x^{(2)}-3=0$，感知机模型为：
$$f(x)=sign(x^{(1)}+x^{(2)}-3)$$
注：解不唯一

2.3.2 对偶形式（与之后的SVM对应）

  对偶形式的想法是：将参数$w,b$表示为实例$x_i$和标签$y_i$的线性组合的形式。在原始形式的算法步骤中通过
$$\begin{gathered} w\leftarrow w+\eta y_i{x}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$
来迭代更新参数$w,b$。那么假设一共修改了$n$次，则参数$w,b$关于$(x_i,y_i)$的增量分别是${\alpha }_i{y}_i{x}_i$和${\alpha }_i{y}_i$，其中${\alpha }_i=n_i\eta ,{\sum }_{i=1}^N{n}_i=n$。具体步骤如下：

输入：训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，$x_i\in \chi =R^n$， y i ∈ γ = { − 1 , + 1 } y_i \in \gamma=\{-1,+1\} yi​∈γ={−1,+1}
输出：参数$\alpha ,b$，即得到感知机模型 $f(x)=sign(w\cdot x+b)=sign({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$，其中$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_N{)}^T$。
（1）$\alpha \leftarrow 0,b\leftarrow 0$
（2）在训练集中选取数据$(x_i,y_i)$
（3）如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)\le 0$
$$\begin{gathered} {\alpha }_i\leftarrow {\alpha }_i+\eta \\ b\leftarrow b+\eta y_i \end{gathered}$$
（4）转至（2）直到没有误分类点

注意到对偶形式中训练实例$x_i$仅以点积形式出现，所以可以提前把这些点积算好并以矩阵的形式来存好，该矩阵称为Gram矩阵：
$$G=[x_i\cdot x_j{]}_{N\times N}$$

例2.2
题干同例2.1，用对偶形式求感知机模型。
解：取${\alpha }_i=0,i=1,2,3$因为只有三个实例点，$b=0,\eta =1$
计算Gram矩阵如下：
$$G=\left[\begin{array}{ccc}18& 21& 6\\ 21& 25& 7\\ 6& 7& 2\end{array}\right]$$
首先发现$y_1({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_1+b)=0$即达到误分类条件，更新参数：
$$\begin{gathered} {\alpha }_1\leftarrow {\alpha }_1+\eta (\eta =1)=1 \\ b\leftarrow y_1(y_1=1)=1 \end{gathered}$$
如此迭代可得最终超平面和感知机模型。