机器学习笔记一——感知机

一、感知机模型

感知机是二分类的线性分类模型。感知机对应于输入空间（即特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。

定义：
假设输入空间是$\mathcal{X}\subseteq {\mathbf{R}}^n$，输出空间是 Y = { + 1 , − 1 } \mathcal{Y}=\{+1, -1\} Y={+1,−1}。输入$x\in \mathcal{X}$表示实例的特征向量，输出$y\in \mathcal{Y}$，由输入空间到输出空间的如下函数$$f(x)=sign(\omega \cdot x+b)\text{\hspace{1em}(1)}$$
称为感知机。其中$\omega \in {\mathbf{R}}^n$叫做权值或权值向量，$b\in \mathbf{R}$叫做偏置，$\omega \cdot x$表示内积。

感知机模型的假设空间是定义在特征空间中的所有线性分类模型，即函数集合 { f ∣ f ( x ) = ω ⋅ x + b } \{f|f(x)=\omega\cdot x + b\} {f∣f(x)=ω⋅x+b}

几何解释：
$\omega \cdot x+b=0$对应于特征空间${\mathbf{R}}^n$中的一个超平面$S$，其中$\omega$是超平面的法向量，$b$是超平面的截距，这个超平面将特征空间划分为两个部分，从而达到分类的效果。

二、感知机学习策略

2.1 数据集的线性可分性

给定一个数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1, y_1), (x_2, y_2), \cdots,(x_N, y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ X = R n , y i ∈ { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_i\in\mathcal X=\bm R^n, y_i\in\{+1, -1\}, i=1,2,\cdots, N xi​∈X=Rn,yi​∈{+1,−1},i=1,2,⋯,N。如果存在某个超平面$S:\omega \cdot x+b=0$，能够将数据集的正实例点和负实例点完全正确的划分到超平面的两侧，即对所有$y_i=+1$的实例，有$\omega \cdot x+b>0$；对所有$y_i=-1$的实例，有$\omega \cdot x+b<0$，则称数据集$T$线性可分，否则称线性不可分。

2.2 感知机学习策略

假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正负实例点完全正确分开的分离超平面，即确定参数$\omega$和$b$，即定义损失函数并将损失函数极小化。

可选择损失函数为误分类点到超平面$S$的总距离（如果选误分类点的总数，那么损失函数不是参数$\omega$和$b$的连续可导函数，不易优化）。

对于误分类的点的集合为$M$，有数据点$(x_i,y_i)\in M$，那么$-y_i(\omega \cdot x_i+b)>0$总成立，所以数据点$(x_i,y_i)$到超平面的距离为$-\frac{1}{||\omega ||}{y}_i(\omega \cdot x_i+b)$，从而有所有误分类点到超平面的总距离为$$-\frac{1}{||\omega ||}\sum _{x_i\in M}{y}_i(\omega \cdot x_i+b)\text{\hspace{1em}(2)}$$
所以损失函数可以定义为$$L(\omega ,b)=-\sum _{x_i\in M}{y}_i(\omega \cdot x_i+b)\text{\hspace{1em}(3)}$$

三、感知机学习算法

3.1 原始形式

$(3)$式给出了感知机的损失函数，可采用随机梯度下降法进行求解参数。经计算可知：$${▽}_{\omega }L(\omega ,b)=-\sum _{x_i\in M}{y}_i{x}_i\text{\hspace{1em}(4)}$$
$${▽}_{b}L(\omega ,b)=-\sum _{x_i\in M}{y}_i\text{\hspace{1em}(5)}$$
所以有如下算法：

1. 选取初值${\omega }_0,b_0$
2. 在训练数据集中随机选取数据$(x_i,y_i)$
3. 如果$(x_i,y_i)$为误分类点，即$y_i(\omega \cdot x_i+b)\le 0$，那么$$\omega ⟵\omega +\eta y_i{x}_i\text{\hspace{1em}(6)}$$ $$b⟵b+\eta y_i\text{\hspace{1em}(7)}$$
4. 转至$2$，直至训练集中没有误分类点

直观上的解释就是：当一个实例点被误分类，即位于超平面的错误一侧时，调整$\omega$和$b$的值，从而调整超平面的位置，以减少误差分类点与超平面间的距离。

3.2 算法的收敛性

对于线性可分数据集，感知机学习算法原始形式收敛，即经过有限次的迭代可以得到一个将训练数据集完全正确划分的分离超平面。但感知机学习算法存在许多解，这些解即依赖于初值的选择，也依赖于误分类点的选择顺序。

3.3 对偶形式

如何理解感知机学习算法的对偶形式？
基本思想是将$\omega$和$b$表示成实例$x_i$和标记$y_i$的线性组合的形式，通过求解其系数而求得$\omega$和$b$。

由原始形式可知，对误分类点$(x_i,y_i)$，通过$\omega ⟵\omega +\eta y_i{x}_i$和 $b⟵b+\eta y_i$逐步修改$\omega$和$b$，设修改了$n_i$次，则$\omega$和$b$关于$(x_i,y_i)$的增量分别是${\alpha }_i{y}_i{x}_i$和${\alpha }_i{y}_i$，其中${\alpha }_i=n_i\eta$。这样，最后$$\omega =\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\text{\hspace{1em}(8)}$$$$b=\sum _{j=1}^N{\alpha }_j{y}_j\text{\hspace{1em}(9)}$$

1. 选取初值${\alpha }_i=0,b=0,i=1,2\cdots ,N$
2. 在训练数据集中随机选取数据$(x_i,y_i)$
3. 如果$(x_i,y_i)$为误分类点，即$y_i(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)\le 0$，那么$${\alpha }_i⟵{\alpha }_i+\eta \text{\hspace{1em}(10)}$$ $$b⟵b+\eta y_i\text{\hspace{1em}(11)}$$
4. 转至$2$，直至训练集中没有误分类点

与原始形式一样，对偶形式也是收敛的，而且存在多个解。