感知机完整推导

简介：

感知机（perceptron）是二分类的线形分类模型，输入为实例的特征向量，输出为实例的类别（+1，-1）。感知机对应于特征空间中将实例划分为正负两类的分离超平面；而且其是支持向量机与神经网络的基础。

我们的目标其实就是找出该分离超平面，根据统计学习的三要素：模型、策略、算法，我下面将从这三方面展开。

---

###感知机模型###
模型:

$$ f(x) = sign(w \cdot x+b) $$ 模型中的 $w$ 和 $b$ 为感知机模型参数，$x$ 为实例的特征向量，$sign$ 为符号函数，即： $$ sign(x) = \begin{cases} +1, & \text{$x\ge0$} \\[2ex] -1, & \text{$x\lt0$} \end{cases} $$ 从该模型中很容易理解，我们要找的分离超平面就是线性方程：$w\cdot x+b=0$；

那么，接下来就只用解决如何通过给定的一些实例和其类别来确定参数$w$和$b$；该求解过程其实就是感知机学习过程。当学习到对应的感知机模型后，在预测部分只需将新的实例输入到感知机模型中即可获取其类别。

---

###策略###
给定一个线性可分的训练数据集，为了确定其感知机模型中的参数，我们就需要提出一个学习策略来解决，即定义一个经验损失函数并将该损失函数最小化。

感知机损失函数

损失函数有两个选择：

1. 误分类点的总数
   该损失函数明显不是参数$w$和$b$的连续可导函数，不易优化。

2. 误分类点到超平面的总距离
   该损失函数被感知机所采用，其数学表达式为：
   $$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
   $M$ 为误分类点集合，$x_i$为误分类点，$y_i$为对应点的类别。

**附上该表达式的证明：**

取训练数据集中的任一个数据，将其特征向量记为$x_0$,将$x_0$在分离超平面$w\cdot x+b=0$上的投影点记为$x_1$,则该数据到分离超平面的距离为$\vert \vec {x_0x_1}\vert$,则

KaTeX parse error: No such environment: eqnarray at position 7: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ \vert w\cdot …
又对于误分类数据$(x_i,y_i)$来说，$-y_i(w\cdot x_i+b)>0$，则误分类点$x_i$到分离超平面的距离为 $-\frac{1}{\Vert W\Vert }{y}_i(w\cdot x_i+b)$；所以误分类点到分离超平面的总距离为
$$-\frac{1}{\Vert W\Vert }\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
由于，感知机学习是误分类驱动，所以可以不考虑$\frac{1}{\Vert W\Vert }$，则可获取最终所用的损失函数。

感知机的学习策略最终转化为在假设空间中选取使损失函数式最小的模型参数$w$、$b$。

---

###算法###
从学习策略中可知，感知机模型的求解就是求解损失函数的最优化问题，最优化方法选择的是随机梯度下降法，下面用数学的形式进行说明。
给定一个数据集：
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}
其中$x_i\in R^N$， y i ∈ { − 1 , + 1 } y_i \in \{-1,+1\} yi​∈{−1,+1}，$i=1,2,3,\cdots ,N$。求参数$w$和$b$，使其为以下损失函数极小化问题的解
$$\underset{w,b}{\min }L(w,b)=\underset{w,b}{\min }(-\sum _{x_i\in M}{y}_i(w\cdot x_i+b))$$
其中$M$为误分类点的集合。

随机梯度下降法
为了极小化损失函数，首先，任意选取一个超平面$w_0$、$b_0$，再每次随机选取一个误分类点使其梯度下降，通过不断的选取误分类点来更新$w$和$b$，从而迭代求解出极小化时的解。
更新$w$和$b$的具体过程如下：
假设误分类点集合$M$是固定的，那么损失函数$L(w,b)$的梯度为：
$$\begin{gathered} {\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i \\ {\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i \end{gathered}$$
随机选取一个误分类点$(x_i,y_i)$，对$w$和$b$进行更新：
$$\begin{gathered} w\leftarrow w+\eta y_i{x}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$
式中$\eta$是步长，又成为学习率$(0<\eta \le 1)$。

通过以上的分析后，下面给出具体的相关算法；感知机学习的具体算法包括两种：原始形式和对偶形式。

原始形式：

1. 选取初值$w_0,b_0$
2. 在训练集中随机选取数据$(x_i,y_i)$
3. 如果$y_i(w{x}_i+b)\le 0$
   $$\begin{gathered} w\leftarrow w+\eta y_i{x}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$
4. 转至2，直到训练集中没有误分类点。

对偶形式：
假设初值$w_0,b_0$均为0，从随机梯度下降法中可获知，经过不断的更新迭代获取到的最终$w$和$b$的值为：
$$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ b=\sum _{i=1}^N{\alpha }_i{y}_i \end{gathered}$$
这里，${\alpha }_i=n_i\eta$，$n_i$代表第i个实例点由于被误分而进行参数更新的次数。

具体算法：

1. $\alpha \leftarrow 0,b\leftarrow 0$
2. 在训练集中随机选取数据$(x_i,y_i)$
3. 如果$y_i\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b\right)\le 0$
   $$\begin{gathered} {\alpha }_i\leftarrow {\alpha }_i+\eta \\ b\leftarrow b+\eta y_i \end{gathered}$$
4. 转至2，直到没有误分类数据

对偶形式中，实例仅以内积的形式出现，为了计算方便，通常将实例间的内积计算出来，并以矩阵形式存储，这个矩阵就是Gram matrix.
$$G=[x_i\cdot x_j{]}_{N\times N}$$

以上两种算法都是收敛的，收敛性的具体证明可以查看原书籍，在这里就不一一列出了。