第二章 感知机

第2章 感知机

感知机1957年由Rosenblatt提出，是神经网络与支持向量机的基础。

2.1 感知机模型

感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值，其属于判别模型。表示如下：

$$f(x)=sign(w\cdot x+b)\text{\hspace{1em}(2.1)}$$

其中$w\in R^n$表示权值或权值参数；和$b\in R$表示偏置，均为为感知机参数。$x\in \mathcal{X}$($\mathcal{X}\subseteq R^n$为输入空间)；$y\in \mathcal{Y}$( Y = { + 1 , − 1 } \mathcal{Y}=\{+1,-1\} Y={+1,−1}为输出空间)表示实例的类比。$sign(.)$为符号函数。

2.2 感知机学习策略

2.2.1 数据集的线性可分性

对于给定的数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中$x_i\in \mathcal{X},y_i\in (Y)$，如果存在某个超平面S：$w\cdot x+b=0$能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对第$i$个实例$x_i$,当$w\cdot x_i+b>0$时，$y_i=+1$，反之$y_i=-1$，则称为数据集$T$为线性可分数据集，否则为线性不可分。

2.2.2 感知机学习策略

给定一个数据集$T$，假定其线性可分，则需要确定一个学习策略，即定义损失函数并将损失函数极小化，来找到$w$和$b$，确定分类超平面S。
而损失函数有一般选择误分类点到超平面S的总距离，由于以误分类点的个数的损失函数不是参数$w$和$b$的连续可导函数，不易优化。
输入空间$R^n$中任一点$x$到超平面S的距离是：

$$d=\frac{1}{||w|{|}_2}|w\cdot x+b|$$

对于误分类点$(x_i,y_i)$有：

$$-y_i(w\cdot x_i+b)>0$$
故误分类点$x_i$到超平面S的距离是：

$$d_i=-\frac{1}{||w|{|}_2}{y}_i(w\cdot x_i+b)$$

那么对于误分类点集M，其中多有点到S的总距离为：

$$D_M=-\frac{1}{||w|{|}_2}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$

因为对所有的距离都有$\frac{1}{||w||}$，出于计算的简单（自认为），对于损失函数略去$\frac{1}{||w||}$。
综上，对于给定的数据集$T$，其损失函数可定义为：

$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(2.2)}$$
M为误分类点集。此损失函数即为感知机学习的经验风险函数。
显然，$L(w,b)$函数是大于等于0的函数，当误分类时，$L(w,b)$是参数$w,b$的线性函数，且大于0，正确分类时其值等于0。而感知器学习的策略就是在假设空间中选取使损失函数（2.2）最小的参数$w,b$，即感知机模型。

2.3感知机学习算法

2.3.1 感知机学习算法的原始形式

感知机学习算法是对给定的数据集$T$，损失函数的最优化问题，即求参数$w,b$，使其为损失函数$L(w,b)$的极小值，在原始形式中采用随机梯度下降法，如下：

$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(2.3)}$$

算法过程为：
输入：数据集$T$，学习率为$\eta (0<\eta \le 1)$;
输出：$w,b$；感知机模型为$f(x)=sign(w\cdot x+b)$。
（1）选取初始值$w_0,b_0$；
（2）在训练集中选取数据$x_i,y_i$；
（3）如果$y_i(w\cdot x+b)\le 0$，

$$\begin{array}{rl}& w\leftarrow w+\eta y_i{w}_i\\ & b\leftarrow b+\eta y_i\end{array}$$
（4）转至（2），直至训练集中没有误分类点

2.3.2 感知机学习算法的对偶形式

对偶形式的基本想法是，将$w,b$表示为实例$x_i$和标记$y_i$的线性组合的形式，通过求解其系数而求得$w$和$b$。
算法过程为：
输入：数据集$T$，学习率为$\eta (0<\eta \le 1)$;
输出：$\alpha ,b$；感知机模型为KaTeX parse error: Expected group after '_' at position 15: f(x)=sign(\sum_̲\limits{x_i\in …，其中$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_N{)}^T$。
（1）$\alpha \leftarrow 0,b\leftarrow 0$;
（2）在训练集中选取数据$(x_i,y_i)$;
（3）如果KaTeX parse error: Expected group after '_' at position 14: y_i\left(\sum_̲\limits{x_i\in …，则：

$$\begin{array}{rl}& \alpha \leftarrow {\alpha }_i+\eta \\ & b\leftarrow b+\eta y_i\end{array}$$
（4）转至（2）直到没有误分类数据。

关于$\alpha$的解释如下：
对于感知机模型的损失函数（2.2），假设初始化值$w_0$和$b_0$均为0，则对误分类点$(x_i,y_i)$通过式子

$$\begin{array}{rl}& w\leftarrow w+\eta y_i{w}_i\\ & b\leftarrow b+\eta y_i\end{array}$$
逐步修改$w,b$，设修改n次，则$w,b$关于$(x_i,y_i)$的增量分别是$n_i\eta y_i{x}_i$和$n_i\eta y_i$，故设${\alpha }_i=n_i\eta$，则从学习过程不难看出，最后学习到的$w,b$可以分别表示为：

$$\begin{array}{rl}& w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ & b=\sum _{i=1}^N{\alpha }_i{y}_i\end{array}$$
此处，${\alpha }_i\ge 0,i=1,2,...,N$，当$\eta =1$时表示第$i$个实例点犹豫误分类而进行更新的次数。实例点更新次数越多，意味着他距离超平面S越近，也就越难分类。

参考：
《统计学习方法》（第二版）

持续更新中……