感知机原理与python实现

感知机原理与python实例

原理

线性可分

给定一个二类数据集的标签为正负1，如果存在某个超平面$S$：
$$wx+b=0$$
将所有正负实例点完全正确地划分到超平面的两侧，即对$y=+1$的实例有：$wx+b>0$；即对$y=-1$的实例有：$wx+b<0$.

判别函数

针对标签为正负1的二分类问题，感知机的判别函数为：
$$f(x)=sign(wx+b)$$

损失函数

自然地想，损失函数应当是误分类的点的个数，但是这个函数是不可导的，所以优化起来比较困难。

考虑$R^n$空间中的任意一点$x_0$到超平面的距离为：
$$\frac{1}{||w|{|}_2}(w{x}_0+b)$$
对应误分类集合$M$中的点来说：
$$-\frac{y}{||w|{|}_2}(wx+b)>0$$
所以最终选择的损失函数为：
$$L(w,b)=-\sum _{x\in M}y(wx+b)$$

学习过程

目前学习的过程就变成使损失函数最小化的过程。
$$\begin{array}{rl}(w,b)& =\arg \underset{w,b}{\min }L(w,b)\\ \frac{\partial L}{\partial w}& =-\sum _{x\in M}yx\\ \frac{\partial L}{\partial b}& =-\sum _{x\in M}y\end{array}$$
通过梯度下降的方式，在每次迭代过程中以学习率$\eta$更新$w,b$的值，直到结果收敛或者达到指定的迭代次数为止。
$$\begin{gathered} w^t=w^{t-1}-\eta \frac{\partial L}{\partial w} \\ {b}^t=b^{t-1}-\eta \frac{\partial L}{\partial b} \end{gathered}$$

收敛性证明

下面证明当数据是线性可分的情况下，感知机准则是一定收敛的。通过两种方法来进行证明。

方式一

方便起见，令$a=(w^T,b{)}^T,z=(x^T,1{)}^T$。
设最优的权重解为：$\hat{a}$，一定满足$\forall x_i,{\hat{a}}^{T}z{y}_i>0$。
假设经过$t$轮迭代之后的解为：$a^t$，在这一轮中仍然被分错的向量集合为： E ( t ) = { z ∣ a T z y &lt; 0 } E(t) = \lbrace z|a^Tzy &lt; 0 \rbrace E(t)={ z∣aTzy<0}，根据上文描述的梯度下降的规则，在第$t+1$轮中，权重应当被更新为：
$$a^{(t+1)}=a^t+x_i\in E(t)$$