《统计学习方法》笔记——感知机

定义

用于二分类的线性分类模型，输入为样本的特征向量，输出为类别（通常以+1、-1表示）

模型表示形式

f(x)=sign(w⋅x+b)

其中，w和b为感知机模型参数，w∈Rn叫作权值（weight）或权值向量（weight vector），b∈R叫做偏置（bias），w⋅x表示w和x的内积。sign是符号函数，就是用±1表示正负，即

图示

简单说，感知机模型就是找一条线将图中的两种点区分开。

如何找到这条线——学习策略

调整线的位置（也就是调整w和b）使所有分类错误的点到线的距离和最小，也就是找到一条线使分类错误最少。
此时距离求和——使用了空间点到线的距离公式

类似的空间点x0到直线w·x+b=0的公式为
这里，‖w‖是w的L2范数，如图中红框区域

我们要找的是分类错误点到线的距离，当w⋅xi+b>0分类错了，yi=−1，如果w⋅xi+b<0分类错了，yi=+1，因此，误分类点xi到线的距离（要保证是正数）是：
假设误分类点集合为M ，所有分类错误点到线的距离是

由于一个非零向量除以它的模的结果是一个与原向量同方向的单位向量，所以通常我们不考虑

此时错误点到线的距离和可以叫做感知机学习的损失函数：

如何找到那条线使损失函数最小？——学习算法

找合适的线方法是调整w·x+b=0中的w和b，通常用随机梯度下降法（SGD），对损失函数求w和b的偏导数如下：

然后根据这个偏导数调整w,b的大小

式中η(0<η≤1)是步长，又称为学习率。这样，通过迭代可以期待损失函数L(w,b)不断减小，直到为0。

算法流程

——《统计学习方法》李航