李航统计学习 第二章 感知机

第二章 感知机

感知机是二类分类的线性分类模型，输入为特征向量，输出为实例的类别，感知机对应于输入空间（特征空间）中将
实例划分为正负两类的超平面

2.1感知机模型

假设输入空间（特征空间）是$x\subseteq \bf {R}^n$,输出空间为$y={+1,-1}$,由输入空间到输出空间的如下函数：

$$f(x)=sign(w\cdot x+b)$$
称为感知机，其中 $w$和$b$为感知机模型参数 $w\in \bf {R}^n$叫做权值或者权向量， $b\in \bf R$叫做偏置，
$w\cdot x$表示 $w$和$x$的内积 $sign$是符号函数：
$$sign(x)=\begin{cases} +1,&&x\geq 0\\ &&&&\\ -1,&&x<0 \end{cases}$$
感知机的解释：
线性方程 $w\cdot x+b=0$对应于特征空间 $\bf {R}^n$中的一个超平面 $S$，其中$w$为超平面的法向量，
$-\frac{b}{||w||}$为原点到超平面的距离，这个超平面将特征空间划分成两个部分

2.2感知机学习策略

2.2.1

数据集为线性可分数据集

2.2.2

选择损失函数为误分类点到超平面$S$的总距离，特征空间中任意一点$x_0$到超平面$S$的距离：

$$\frac{1}{||w||}|w\cdot x_0+b|$$
这里的$||w||$是$w$的$L_2$范数

对于误分类的数据$(x_i,y_i)$来说：

$$-y_i(w\cdot x_i + b) > 0$$
成立，那么误分类点 $x_i$到超平面 $S$的距离：
$$-\frac{1}{||w||}y_i(w\cdot x_i+b)$$
假设超平面 $S$的误分类点集合为$M$，那么所有误分类点到超平面的总距离：
$$-\frac{1}{||w||}\sum_{x_i\in M}{y_i(w\cdot x_i+b)}$$
不考虑 $\frac{1}{||w||}$得到在给定数据集：
$$T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}$$
其中 ${x_i \in \bf {R^n}}$, ${y_i\in \{+1,-1\} }$, $i=1,2,\cdots,N$感知机的损失函数为：
$$L(w,b)=-\sum_{x_i\in M}y_i(w\cdot x_i+b)$$

2.3感知机学习算法

求解感知机参数也就是损失函数极小化的问题：

$$\min_{w,b}L(w,b)=-\sum_{x_i\in M}y_i(w\cdot x_i+b)$$
采用随机梯度下降算法，首先任意选取一个超平面 $w_0,b_0$，然后梯度下降法不断极小化目标函数
损失函数 $L(w,b)$的梯度为：
$$\nabla_wL(w,b)=-\sum_{x_i\in M}{y_ix_i}$$
$$\nabla_bL(w,b)=-\sum_{x_i\in M}{y_i}$$
随机选取一个误分类点 $(x_i,y_i)$对 $w,b$进行更新：
$$w\leftarrow w+\eta y_ix_i$$
$$b\leftarrow b+\eta y_i$$
其中 $\eta$为学习速率

算法流程

输入：训练数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}$其中${x_i\in \bf R^n},y_i\in \{+1,-1\},i=1,2,\cdot,N$；学习率$\eta(0<\eta\leq 1)$；
输出：$w,b$；感知机模型$f(x)=sign(w\cdot x+b)$
（1）选取初值$w_0,b_0$
（2）在训练集中选取数据$(x_i,y_i)$
（3）如果$y_i(w\cdot x_i+b)\leq 0$

$$w\leftarrow w+\eta y_ix_i$$
$$b\leftarrow b+\eta y_i$$
（4）跳转至（2）直至训练集中没有误分类点