感知机学习笔记

2.1 感知机模型

感知机是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别（取+1或-1）。感知机对应于输入空间中将实例划分为两类的分离超平面。

由输入空间到输出空间的如下函数
$$f(x)=sign(w\cdot x+b)$$
称为感知机。

其中 $w$ 和 $b$ 是模型的参数，$w\in R^n$称为权值(weight)，或权值向量(weight vector)，b称为偏置(bias)，$w\cdot x$表示为$w$和$x$的内积

sign是符号函数，即
$$sign(x)=\{\begin{array}{l}+1,x>=0\\ -1,x<0\end{array}$$
感知机是一种线性分类模型，属于判别模型。

超平面对应于线性方程
$$w\cdot x+b=0$$
​ 其中，$w$是超平面$S$的法向量，$b$是超平面的截距。这个超平面将特征空间花费为两个部分，位于两部分的点，分别被分为正、负两类。因此，超平面$S$称为分离超平面，如图1所示。

​ 其实就是在学习参数$w$和$b$，确定了参数$w$和$b$，超平面也就确定了，那么以后来的数据，如果大于等于0就分类到+1，如果小于0就分类为 -1。

2.2 感知机学习策略

为了确定感知机模型参数$w，b$ ，需要确定一个学习策略，即定义（经验）损失函数并将损失函数极小化。

感知机所采用的损失函数是误分类点到超平面$S$的总距离。为此，首先写出输入空间$R^n$中任一点$x_0$到超平面的距离：
$$\frac{1}{\Vert w\Vert }|w\cdot x_0+b|$$
对于误分类的数据$(x_i,y_i)$ 来说，
$$-y_i(w\cdot x_i+b)>0$$
成立。因为当数据 $y_i$为+1的时候，你误分类为-1，即 $w\cdot x_i+b<0$ ，所以满足 $-y_i(w\cdot x_i+b)>0$，反之同理

因此可以把绝对值去掉，变成：

$$-\frac{1}{\Vert w\Vert }{y}_i(w\cdot x_i+b)$$
这样，假设超平面 $S$的误分类点集合为M，那么所有误分类点到超平面S的总距离为：
$$-\frac{1}{\Vert w\Vert }\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
不考虑 $\frac{1}{||w||}$ ,就能得到感知机学习的损失函数。

所以，感知机学习的损失函数定义为
$$L(w,b)=\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
其中，M为误分类的点的集合，这个损失函数就是感知机学习的经验损失函数,感知机的学习的策略是极小化损失函数
$$\underset{w,b}{\min }L(w,b)=\underset{w,b}{\min }\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$