感知机介绍

定义

感知机(Perceptron)在1957年由Rosenblatt提出，是神经网络和支持向量机的基础。

感知机是一种二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，+1代表正类，-1代表负类。感知机属于判别模型，它的目标是要将输入实例通过分离超平面将正负二类分离。

数学表示¹

输入
$$x\in R^d或x=(x_1,x_2,....,x_n{)}^T$$

输出
y ∈ { + 1 ， − 1 } y∈\{+1，-1\} y∈{+1，−1}

函数表示
$$f(x)=sign(w^{T}x+b)$$

分离超平面表示$$w^{T}x+b=0$$权值表示$w\in R^d或w=(w_1,w_2,....,w_n{)}^T$ ,截距表示为$b\in R$

学习

我们给定数据集：
D = { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , . . . . , ( x ( n ) , y ( n ) ) } D=\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),....,(x^{(n)},y^{(n)})\} D={(x(1),y(1)),(x(2),y(2)),....,(x(n),y(n))}
我们知道 $x^{(i)}$ 到超平面的距离可以表示为：
$$\frac{1}{||w||}(w^T{x}^{(i)}+b)\text{\hspace{1em}(1)}$$
$$其中||w||=\sqrt{(w_1^2+w_2^2+...+w_n^2)}$$
对于误分类点，因为他们的输出为-1，所以我们可以将公式（1）转换为：
$$-\frac{1}{||w||}{y}^{(i)}(w^T{x}^{(i)}+b)\text{\hspace{1em}(2)}$$
那么误分类点到 $w^{T}x+b=0$ 总距离为：
$$-\frac{1}{||w||}\sum _{x^{(i)}\in M}{y}^{(i)}(w^T{x}^{(i)}+b)\text{\hspace{1em}(3)}$$
其中M表示误分类点的集合。

不考虑 $\frac{1}{||w||}$,则得到感知机的损失函数为：
$$E_{(w,b)}=-\sum _{x^{(i)}\in M}{y}^{(i)}(w^T{x}^{(i)}+b)$$
那么我们的目的便是：
$$w,b\leftarrow argmin{E}_{(w,b)}$$

为什么可以不考虑 $\frac{1}{||w||}$？

1.确定分离超平面是通过法向量w和截距b来确定的，$||w||$的大小对w的方向没有任何影响，所以可以固定$||w||$为1或不考虑$||w||$。

2.感知机是误分类驱动的，而判断样本点是否为误分类点只需要判断$-y^{(i)}(w^T{x}^{(i)}+b)$的正负即可，而$\frac{1}{||w||}$不影响正负的判断，即它不影响算法学习的中间过程。

3.这样做反而还有好处，可以简化运算(分母为w求导会比较麻烦)。²

随机梯度进行优化

分别对$w$和$b$进行求导
$${\nabla }_w{E}_{(w,b)}=-\sum _{x^{(i)}\in M}{y}^{(i)}{x}^{(i)}$$
$${\nabla }_b{E}_{(w,b)}=-\sum _{x^{(i)}\in M}{y}^{(i)}$$
随机选择一个误分类点，则有
$${\nabla }_w{E}_{(w,b)}=-y^{(i)}{x}^{(i)}$$
$${\nabla }_b{E}_{(w,b)}=-y^{(i)}$$
我们的目的

1. 输入$D$和学习率$\eta (0<\eta <1)$
2. 输出$w$和$b$

由此我们可以采用下列步骤

1. 赋初值$w^{(0)}$和$b^{(0)}$
2. 从$D$中随机选取$(x^{(i)},y^{(i)})$
3. 若$-y^{(i)}(w^T{x}^{(i)}+b)\le 0$更新$w$和$b$
   $$w\leftarrow w-\eta {\nabla }_w{E}_{(w,b)}=w+\eta y^{(i)}{x}^{(i)}$$
   $$b\leftarrow b-\eta {\nabla }_b{E}_{(w,b)}=b+\eta y^{(i)}$$
4. 转到2步骤，直到$D$没有误分点

参考文章

---

1. 超平面是什么？——理解超平面（SVM开篇之超平面详解） ↩︎

2. 一文读懂感知机算法 ↩︎