李航统计学习方法(第二版)第二章 感知机学习笔记【理论篇】

感知机的定义

感知机是二分类线性分类模型，输入为实例的特征，输出为实例类别，实例类别取+1和-1。感知机是属于判别模型，因为其求出分离超平面直接将输入实例划分为正例和负例。

感知机的数学表达式

感知机的数学表达式可以由下列式子进行表达：
$f=sign(w\cdot x+b)$，
其中，$sign(x)$是一个记号函数，表示
当$x>=0,sign(x)=+1$；
当$x<0,sign(x)=-1$；

感知机的几何意义

几何意义是将几何坐标系上的点通过分离超平面将其划分为两个类别：正例和负例。【对于二维坐标系来说】
如果是多维坐标系，相当于是一个多维面了。比如，二维空间是一条线，三维空间是一个面等等。

感知机的目标函数

数据集线性可分

感知机的目标是：在训练数据集线性可分的假设前提下，求得一个能够将训练集中的正负样本实例点完全正确分开的分离超平面。
看到这，有人说，训练数据集线性可分啥意思啊，听不懂啊，其实就是针对所有正实例$y=+1$，$w\cdot x+b>0$；
对所有负实例$y=-1$，$w\cdot x+b<0$；
一张图表示其实就是这个样子的：

这个数据集就是可分的，中间一条虚线即为超平面，将整个数据集分为虚线右上和左下部分。

目标函数推导

通常意义上来说，损失函数我们可以看误分类点的个数。但是这样来看，误分类点的个数不是参数$w$和$b$的连续可导函数，不易优化。因此，选择另一种形式的损失函数：
误分类点到超平面的总距离。
而平面上一点$(x_0,y_0)$到超平面$S$的距离$distanc{e}_0$为：
$\frac{1}{||w||}|w\cdot x_0+b|$
其中，$||w||$为2范数。
对于误分类点有两种情况：
（1）对于原本$y_i=-1$的情况误分类成了$y_i=1$，这种情况下$\frac{1}{w\cdot x_0+b}$乘积表示真实样本的数值，为负。而$distance$为正，因此$|w\cdot x_0+b|=-(w\cdot x_0+b)=-y_i\ast (w\cdot x_0+b)$。
（2）对于原本$y_i=1$的情况误分类成了$y_i=-1$，这种情况下$\frac{1}{w\cdot x_0+b}$乘积表示真实样本的数值，为正。而$distance$为正，因此$|w\cdot x_0+b|=(w\cdot x_0+b)=-y_i\ast (w\cdot x_0+b)$。
因此，从整体误分类上来说，假设误分类点集合为$M$，误分类点超平面总距离为：
$distance={\sum }_{(x_i,y_i)\in M}distanc{e}_i={\sum }_{(x_i,y_i)\in M}[-y_i\ast (w\ast x_i+b)\ast \frac{1}{||w||}]$

感知机的优化方法

目前，感知机的优化方法采用的是梯度下降的方法，也就是我们所熟知的随机梯度下降或者批量梯度下降。因为感知机有原始形式和对偶形式两种方式，故而分开来说。

原始形式

原始形式的目标函数为：
$mi{n}_{w,b}L(w,b)=-{\sum }_{i\in M}{y}_i\ast (w\ast x_i+b)$
其中$M$是误分类点的集合。
目标函数需要对$w,b$求解最优解，因此我们先对$w,b$进行求偏导，然后再更新$w,b$。
对$w$求偏导：$\frac{\partial L}{\partial w}=-{\sum }_{i\in M}{x}_i\ast y_i$
对$b$求偏导：$\frac{\partial L}{\partial b}=-{\sum }_{i\in M}{y}_i$

随机梯度下降

随机选取一个误分类点$(x_i,y_i)$对$w,b$进行更新, $\eta$为学习率：
$w=w+\frac{\partial L}{\partial w}=w+(-x_i\ast y_i)=w+\eta \ast x_i\ast y_i$
$b=b+\frac{\partial L}{\partial b}=b+(-y_i)=b+\eta \ast y_i$

批量梯度下降

随机选取一类误分类点集合，$(x_i,y_i)\in M$对$w,b$进行更新, $\eta$为学习率：
$w=w+\frac{\partial L}{\partial w}=w+(-{\sum }_{i\in M}{x}_i\ast y_i)=w+\eta \ast {\sum }_{i\in M}{x}_i\ast y_i$
$b=b+\frac{\partial L}{\partial b}=b+(-{\sum }_{i\in M}{y}_i)=b+\eta \ast {\sum }_{i\in M}{y}_i$
但是对于批量梯度下降来说，需要选取的是误分类点里的"批量"，而不是全量数据集上的"批量"。

为什么用随机梯度下降而不用批量梯度下降

这一点在李航大大的书上并没有提及，只是根据笔者自己理解来说明原因。主要是从时间复杂方向来考虑。
假设我们有$m$个样本【准确来说，这里说$m$个误分类样本更为合适，但是对于我们来说，我们需要对所有样本进行判断，如果误分类，更新$w$和$b$。如果不是误分类，那么不更新。其实，判断误分类样本的过程也相当于遍历整个样本】，每个样本有$n$维特征向量，我们来分别计算在该场景下的时间复杂度。
我们写一下伪代码：

for i in range(0, m+1):
	if y[i] * (w*x[i]+b) < 0:
		更新w, b
	else:
		w, b不更新

这里时间复杂度相当于是 样本数*更新w,b的时间复杂度。
因此， 对于随机梯度下降来说，每次随机选取一个误分类样本进行更新，样本数为1，其计算的时间复杂度为$O(n)$，
而对于批量梯度下降来说，每次需要对所有误分类点进行求和更新，每一个样本更新$w,b$的时间复杂度为$O(n)$，那么对于$m$个样本来说，时间复杂度为$O(m\ast n)$。
我们分3种情况分别讨论不同情况下的时间复杂度情况：
1）当样本量特别少的时候，即$n>>m$时，其实两者时间复杂度应该差不多。如果更在意精度的话，建议选择批量梯度下降，因为其更新信息是利用全局误分类点信息，精度相对于随机梯度下降更高一些，更新方向更接近全局解。
2）当样本量特别特别大的时候，即$m>>n$，此时批量梯度下降的更新时间的劣势凸显更为明显一些，时间复杂度陡增。在可以适当舍弃精度的同时，建议选择随机梯度下降。
3）当样本量与特征维度近似时，这个时候批量梯度下降的时间复杂度约为随机梯度下降的一倍。需要进行准确性和性能两个方面的综合考量。
综上所述，整体上来说，从工程和性能两个方面考虑来说，可以以牺牲较小的准确性为代价，选择随机梯度下降。

对偶形式

我们回顾下$w,b$的更新方式【这里只看随机梯度下降方式】：
$w=w+\eta \ast x_i\ast y_i$
$b=b+\eta \ast y_i$
这里是每次通过修改误分类点来更新下$w,b$，这里可以这么来考虑，我们通过修改次数来表达$w,b$的更新。
我们每次改动$w,b$时，$w,b$都会有一个增量，假设第$i$个样本学习次数为$n_i$，做${\alpha }_i=n_i\ast \eta$，那么第$i$个样本$w,b$的变化量为$\Delta w_i={\alpha }_i\ast x_i\ast y_i$，$\Delta b_i={\alpha }_i\ast y_i$。假设整个样本空间里有$N$个样本，那么$w,b$可以采用另一种表示方法：
$w={\sum }_{i=1}^N{\alpha }_i\ast x_i\ast y_i$
$b={\sum }_{i=1}^N{\alpha }_i\ast y_i$
其中，${\alpha }_i\ge 0,i=1,2,3...,N$。$n_i$更新的频率越高，表明该点$(x_i,y_i)$离分割面越近，越难以正确分类，对最后模型的学习影响也越大。

为什么要转化成对偶形式

这个建议先看完对偶形式的这个小节再回头来看原因，当然，如果对原始形式和对偶形式都非常熟悉的话，也可以直接看。
既然有了原始形式，而且用随机梯度下降也能达到较好的效果，那么为什么还要考虑对偶形式，对偶形式的优势具体体现在什么地方呢？
我们对比下原始形式和对偶形式的$w,b$更新形式：
原始形式：
$w=w+\eta \ast x_i\ast y_i$
$b=b+\eta \ast y_i$
对于目标函数$f(x)=sign(w\ast x+b)$来说，每一次新来一个样本点，都要重新更新一次$w,b$，