统计机器学习【2】- 感知机（一）:基本知识

声明：声明：该文章为作者整理和简略的，非原创，是多方资料的整合，为方便所以标注的原创,有错别字欢迎指正

一、初始感知机(perceptron)

感知机（perceptron）是二类分类的线性分类模型，感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。（关于生成模型和判别模型可见博客统计机器学习【1】- 入门机器学习（一））。感知机学习旨在求出将训练数据进行线性划分的分离超平面。

二、感知机

1、什么是感知机

假设输入空间（特征空间）是$\chi \subseteq R^n$，输出空间是 γ = { + 1 , − 1 } \gamma = \lbrace +1, -1 \rbrace γ={+1,−1}. 输入$x\in \chi$表示实例的特征向量，对应于输入空间（特征空间）的点；输出$y\in \gamma$表示实例的类别。由输入空间到输出空间的如下函数：
$$f(x)=sign(w\cdot x+b)\text{\hspace{1em}(1)}$$

称为感知机。其中，$w$ 和$b$为感知机模型参数， $w\in R^n$叫作权值（weight）或者权值向量（weight vector），$b\in R$叫作偏置（bias），$w\cdot x$表示$w$和$x$的内积。sign是符号函数。

感知机模型的假设空间（hypothesis space）定义在特征空间中的所有线性分类模型或者线性分类器，即函数集合 { f ∣ f ( x ) = w ⋅ x + b } \lbrace f | f(x) = w·x + b \rbrace {f∣f(x)=w⋅x+b}。

2、感知机的几何解释

线性方程
$$w\cdot x+b=0\text{\hspace{1em}(2)}$$
对应于特征空间$R^n$中的一个超平面S，其中$w$是超平面的法向量，$b$是超平面的截距。这个超平面将特征空间划分为两个部分，位于两部分的点（特征向量）分别被分为正、负两类，因此，超平面S称为分离超平面(separating hyperplane)。

三、感知机学习策略

1、数据集的线性可分性

给定一个数据集
$$\tau =(x_1,y_1),(x_2,y_2),...,(x_N,y_N),$$
其中， x i ∈ χ = R n , y 1 ∈ γ = { + 1 , − 1 } , i = 1 , 2 , 3 , . . . , N x_i \in \chi = R^n, y_1 \in \gamma = \lbrace +1, -1 \rbrace, i = 1, 2, 3, ..., N xi​∈χ=Rn,y1​∈γ={+1,−1},i=1,2,3,...,N，如果存在某个超平面S
$$w\cdot x+b=0$$
能够将数据集的正实例点和负实例点完全地划分到超平面的两侧，即对所有 $y_i$ = + 1的实例$i$，有$w\cdot x_i+b>0$，对所有$y_i=-1$的实例$i$，有$w\cdot x_i+b<0$，则称数据集$T$为线性可分数据集；否则。称数据集$T$线性不可分。

2、感知机学习策略

假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全分开的超平面。为了找出这样的超平面，即确定感知机模型参数$w,b$，需要确定一个学习策略，即定义（经验）损失函数并将损失函数最小化。

损失函数的一个自然选择是误分类点的总数，但是，这样的损失函数不是参数$w,b$的连续可导函数，不易优化。损失函数的另一个选择是误分类点到超平面S的总距离，为此，首先写出输入空间$R^n$中任一点$x_0$到超平面$S$的距离：
$$\frac{1}{||w||}|w\cdot x_0+b|$$
这里，$||w||$是$w$的$L_2$范数。

其次，对于误分类的数据$(x_i,y_i)$来说，
$$-y_i(w\cdot x_i+b)>0$$
成立。
因此，误分类点x_i到超平面S的距离是
$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$

不考虑$\frac{1}{||w||}$，就得到感知机学习的损失函数。

给定训练数据集
$$\tau =(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$$

其中，$x_i\in \chi =R^n,y_i\in \gamma =+1,-1,i=1,2,..,N$，感知机$sign(w\cdot x+b)$学习的损失函数定义为
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(3)}$$
其中， M为误分类点的集合，这个损失函数就是经验风险函数。

感知机学习的策略是在假设空间中选取使损失函数式(3)最小的模型参数$w,b$，即感知机模型。

四、感知机学习算法

感知机学习问题转化为求解损失函数（3）的最优化问题，最优化的方法是随机梯度下降法。（感知机学习的具体算法，包括原始形式和对偶形式）

1、感知机学习算法的原始形式

对要优化的目标函数
$$mi{n}_{w,b}L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(4)}$$
要求参数$w,b$，使其最小化。

感知机学习算法使误分类驱动的，具体采用随机梯度下降（stochastic gradient descent）。首先，任意选取一个超平面$w_0,b_0$，然后用梯度下降法不断地极小化目标函数（4）.极小化过程不是一次使$M$中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。
步骤1: 假设误分类点集合$M$是固定的，那么损失函数$L(w,b)$的梯度由
$${\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i$$

$${\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i$$

给出。
随机选取一个误分类点$(x_i,y_i)$，对$w,b$进行更新：
$$w\leftarrow w+\eta y_i{x}_i$$

$$b\leftarrow b+\eta y_i$$

式中$\eta (0<\eta \le 1)$是步长，在统计学习中称为学习率(learning rate)。这样，通过迭代可以期待损失函数$L(w,b)$不断减少，直到为0。

具体算法如下
输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\lbrace (x_1, y_1), (x_2, y_2), ..., (x_N, y_N)\rbrace T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},学习率$\eta (0<\eta \le 1)$;
输出：$w,b$: 感知机模型$f(x)=sign(w\cdot x+b)$.
(1)选取初值$w_0,b_0$;
(2)在训练集中选取数据$(x_i,y_i)$
(3)如果$y_i(w\cdot x_i+b)\le 0$
$$w\leftarrow w+\eta y_i{x}_i$$

$$b\leftarrow b+\eta y_i$$
(4)转至(2)，直至训练集中没有误分类点。

这种学习算法直观上有如下解释：当一个实例点被误分类，即位于分离超平面的错误一侧，则调整$w,b$的值，使分离超平面向该误分类点的一侧移动，以减少分类点与超平面之间的距离，直至超平面超越该误分类点使其被正确分离。

3、感知机学习算法的对偶形式

对偶形式的基本想法是，将$w$和$b$表示为实例$x_i$和标记$y_i$的线性组合的形式，通过求解器系数而求得$w$和$b$. 不失一般性，在前一个算法中假设初始值$w_0,b_0$均为0，对误分类点$(x_i,y_i)$通过
$$w\leftarrow w+\eta y_i{x}_i$$

$$b\leftarrow b+\eta y_i$$
逐步修改$w,b$，设修改n次，则$w,b$关于$(x_i,y_i)$的增量为${\alpha }_i{y}_i{x}_i$和${\alpha }_i{y}_i$，这里${\alpha }_i=n_i\eta$。这样。从学习过程不断看出，最后学习到的$w,b$可以分别表示为
$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$

$$b=\sum _1^N{\alpha }_i{y}_i$$

具体算法如下
输入：线性可分的数据集 τ = { ( x 1 , y 1 , ( x 2 , y 2 ) , . . . , ( x N , y N ) ) \tau = \lbrace(x_1, y_1, (x_2, y_2), ..., (x_N, y_N)) τ={(x1​,y1​,(x2​,y2​),...,(xN​,yN​))，学习率$\eta (0<\eta \le 1)$;
输出：$\alpha ,b$: 感知机模型$f(x)=sign({\sum }_{j=1}^N{\alpha }_i{y}_i\cdot x+b)$.
其中$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_N{)}^T$

(1) $\alpha \leftarrow 0,b\leftarrow 0$
(2)在训练集中选取数据$(x_i,y_i)$
(3)如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)\le 0$
$${\alpha }_i\leftarrow {\alpha }_i+\eta$$

$$b\leftarrow b+\eta y_i$$
(4)转至(2)直至没有误分类数据

参考文献：
【1】统计学习方法-李航