感知机完整推导

简介：

感知机（perceptron）是二分类的线形分类模型，输入为实例的特征向量，输出为实例的类别（+1，-1）。感知机对应于特征空间中将实例划分为正负两类的分离超平面；而且其是支持向量机与神经网络的基础。

我们的目标其实就是找出该分离超平面，根据统计学习的三要素：模型、策略、算法，我下面将从这三方面展开。

---

###感知机模型###
模型:

$$ f(x) = sign(w \cdot x+b) $$ 模型中的 $w$ 和 $b$ 为感知机模型参数，$x$ 为实例的特征向量，$sign$ 为符号函数，即： $$ sign(x) = \begin{cases} +1, & \text{$x\ge0$} \\[2ex] -1, & \text{$x\lt0$} \end{cases} $$ 从该模型中很容易理解，我们要找的分离超平面就是线性方程：$w\cdot x+b=0$；

那么，接下来就只用解决如何通过给定的一些实例和其类别来确定参数$w$和$b$；该求解过程其实就是感知机学习过程。当学习到对应的感知机模型后，在预测部分只需将新的实例输入到感知机模型中即可获取其类别。

---

###策略###
给定一个线性可分的训练数据集，为了确定其感知机模型中的参数，我们就需要提出一个学习策略来解决，即定义一个经验损失函数并将该损失函数最小化。

感知机损失函数

损失函数有两个选择：

1. 误分类点的总数
   该损失函数明显不是参数$w$和$b$的连续可导函数，不易优化。

2. 误分类点到超平面的总距离
   该损失函数被感知机所采用，其数学表达式为：
   $$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
   $M$ 为误分类点集合，$x_i$为误分类点，$y_i$为对应点的类别。

**附上该表达式的证明：**

取训练数据集中的任一个数据，将其特征向量记为$x_0$,将$x_0$在分离超平面$w\cdot x+b=0$上的投影点记为$x_1$,则该数据到分离超平面的距离为$\vert \vec {x_0x_1}\vert$,则

KaTeX parse error: No such environment: eqnarray at position 7: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ \vert w\cdot …
又对于误分类数据$(x_i,y_i)$来说，$-y_i(w\cdot x_i+b)>0$，则误分类点$x_i$到分离超平面的距离为 $-\frac{1}{\Vert W\Vert }{y}_i(w\cdot x_i+b)$；所以误分类点到分离超平面的总距离为
$$-\frac{1}{\Vert W\Vert }$$