机器学习-感知机

感知机

  感知机是二类分类的线性分类模型，输入为是实例的特征向量，输出为实例的类别（取值-1和+1）。对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。具有简单而易于实现的优点，分为原始形式和对偶形式。

1 感知机模型

   假设输入空间X$\in$${\mathbb{R}}^n$,输出空间Y={+1,-1}。则输入空间到输出空间的函数映射如下：
$$f(x)=sign(wx+b)$$
  其中：
$$sign(x)=\{\begin{array}{ll}+1,& \text{x≥0}\\ -1,& \text{x<0}\end{array}$$
  对于感知机的几何解释，其线性方程可以表示为：
$$wx+b=0$$
  对应特征（输入）空间中的超平面，w为超平面的法向量，b为超平面的截距。该超平面将特征（输入）空间分为两个部分，即正类和负类。

2 感知机的学习策略

  感知机学习的目标是求得一个能够将训练集正实例和负实例完全正确分开的分离超平面，为了找出这样的超平面，即确定感知机模型的参数w和b。
  我们通过定义损失函数并将损失函数值极小化的学习策略来找到最佳的w和b。
  对于误分类的数据点$(x_i,y_i)$，其到超平面S的距离为：
$$-\frac{1}{||w||}{y}_i(w{x}_i+b)$$
  其中$||w||$为$L_2$范数，即$\sqrt{a^2+b^2}$。
  对所有误分类点到超平面的距离求和即可得到总距离。在不考虑$\frac{1}{||w||}$的情况下，便得到感知机学习的损失函数。
$$L(w,b)=-\sum _{x\in M}{y}_i(w{x}_i+b)$$
  其中损失函数值始终为正，且连续可导。

3 感知机的学习算法

  感知机学习算法分为原始形式和对偶形式。

3.1 原始形式

3.1.1 感知机学习算法的原始形式

  找到最佳的w和b值，即找出损失函数的极小值。因为转化为了极小化问题，于是我们采用随机梯度下降法。原始形式算法如下：
      输入：训练集$T=(x_1,y_1),(x_2,y_2),...,(x_i,yi)$,其中$x_i\in X=R^n,y_i\in Y=+1,-1$，学习率$\eta (0<\eta \le 1)$（即步长）；
      输出：w,b;感知机模型$f(x)=sign(wx+b)$。
    (1)任意选取初值$w_0,b_0$；
    (2)从训练集中选取数据$(x_i,y_i)$；
    (3)如果$y_i(w{x}_i+b)\le 0$,更新参数
$$w\leftarrow w+\eta y_i{x}_i$$
$$b\leftarrow b+\eta y_i$$
    (4)转到(2)，直到训练集中没有误分类点。
  当一个实例点被误分类，即位于分离超平面的错误一侧时，调整w，b的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面间的距离，直至超平面越过该误分类点使其被正确分类。
  需要注意的是，由于采用不同的初值或选取不同的误分类点，解可以不同。

3.2 算法的收敛性

  将偏置b并入权重向量w，记作$\hat{w}=(w^T,b{)}^T$,同样地输入向量也加入常数1，记作 $\hat{x}=(x^T,1{)}^T$。得到$\hat{w}\hat{x}=wx+b$。
  (Novikoff定理)（1）存在满足条件$||{\hat{w}}_{opt}||=1$的超平面${\hat{w}}_{opt}\hat{x}=w_{opt}x+b_{opt}=0$将训练集完全正确分开，且存在$\gamma >0$，则
$$y_i({\hat{w}}_{opt}{\hat{x}}_i)=y_i(w_{opt}x+b_{opt})\ge \gamma \text{\hspace{1em}(a)}$$
  (2)令$R=max||x_i||$,那么误分类次数k满足不等式：
$$k\le {\left(\frac{R}{\gamma }\right)}^2\text{\hspace{1em}(b)}$$
证明
  由公式(a)和${\hat{w}}_k={\hat{w}}_{k-1}+\eta y_i{x}_i$可以推导出：
$${\hat{w}}_k{\hat{w}}_{opt}\ge k\eta \gamma \text{\hspace{1em}(c)}$$
  同样的，由$y_i({\hat{w}}_{k-1}{\hat{x}}_i)=y_i(w_{k-1}{x}_i+b_{k-1})\le 0$和${\hat{w}}_k={\hat{w}}_{k-1}+\eta y_i{x}_i$推导出：
$$||\hat{w}|{|}^2\le k{\eta }^2{R}^2\text{\hspace{1em}(d)}$$
  由公式©和(d)可得：
$$k\eta \gamma \le {\hat{w}}_k{\hat{w}}_{opt}\le ||{\hat{w}}_k||||{\hat{w}}_{opt}||\le \sqrt{k}\eta R$$
  于是可得：
$$k\le {\left(\frac{R}{\gamma }\right)}^2$$

3.3 对偶形式

  设w,b更新了n次，w,b关于$(x_i,y_i)$的增量分别是${\alpha }_i{y}_i{x}_i$和${\alpha }_i{y}_i$。其中${\alpha }_i=n_i\eta$，$n_i$是点$(x_i,y_i)$误分类的次数。最终得到的w和b可以表示为：
$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
$$b=\sum _{i=1}^N{\alpha }_i{y}_i$$
      输入：训练集$T=(x_1,y_1),(x_2,y_2),...,(x_i,yi)$,其中$x_i\in X=R^n,y_i\in Y=+1,-1$，学习率$\eta (0<\eta \le 1)$（即步长）；
输出：$\alpha$,b;感知机模型$f(x)=sign({\sum }_{j=1}^N{\alpha }_j{y}_i{x}_j+b)$,其中$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_n)$.
    (1)$\alpha \leftarrow 0$,$b\leftarrow 0$
    (2)从训练集中选取数据$(x_i,y_i)$；
    (3)如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_i{x}_j+b)x_i+b)\le 0$,更新参数
$${\alpha }_i\leftarrow {\alpha }_i+\eta$$
$$b=b+\eta y_i$$
    (4)转到(2)，直到训练集中没有误分类点。