《统计学习方法》笔记（2）：感知机

学习的过程，事实上是对新概念和新方法的理解过程。因此，本文关注点仍在于对感知机的重要概念和方法的解释。

 

1、什么是感知机？

感知机是用于二分类的线性判别模型。拆解下来，感知机是用于二分类的、线性的、判别模型（即直接学习目标函数y=f(x)）。

感知机的一般形式如下式，其中y取值为{1,-1}，sign为符号函数，即如果为非负值（），则y取1；反之为负值（<0），则y取-1。简要概括下来就是，和y符号相同。

应用感知机模型，只要给定输入x，就能判别输出是正例（值为1）还是负例（值为-1）。

 

2、什么是“分离超平面”和“线性可分”？

感知机的目的，就是求出可将训练数据进行线性划分的“超平面”，成为“分离超平面”。

可以这样理解，“分离超平面”是对特征空间进行划分的临界面，该临界面可以将所有的正例和负例分隔在其两侧。其表达式为 。

“线性可分”的概念对应于“分离超平面”，如果存在能够划分所有正例、负例样本的“分离超平面”，则该数据集是线性可分的。用表达式表示就是，对于任意y_i=1的样本，其 ；对于任意y_i=-1的样本，其 。

 

3、求解“分离超平面”的思路？

求解“分离超平面”，就是要求解和b，为此首先要确定目标函数。事实上，我们的目标是所求得的“超平面”能将所有训练样本点正确的按类别划分，即没有误分类。

据此可将目标函数（也是损失函数）设定为下式，在该式中表示所有被误分的样本点，只要有样本误分，则y_i和符号相异，损失函数为正值；如果没有误分的样本点，损失函数为0（达到最小）。计算的目标就是使得损失函数达到最小。

 

4、求解“分离超平面”的算法？

一般采用随机梯度下降法（stochasticgradient decent）进行求解。上式中分别对和b求偏导，可得 、 ；由于xi、yi是被误分的样本点，因此需要对当前“超平面”进行修正，使之不断靠近直至越过误分样本点，修正公式如下（其中为学习率）。

则对于感知机 ，求解分离超平面的步骤如下：

1）设置参数初始值、。

2）在训练集中选取样本点（ ）。

3）判断如果，利用公式对参数进行修正： 、 。

4）判断是否还存在误分类样本点；如果有，则回到2）。

以上方法为感知机算法的原始形式，问题5将介绍算法的对偶形式。

 

5、什么是“对偶形式”？

对偶形式，简而言之就是将原始形式中的迭代对象ω替换为 的系数 。

具体解释如下，由问题4中的推导，如果将初始值、设为0，则经过多次迭代后的和b可表示为以下表达式，其中 ，N为训练样本集的样本数量。

则对于感知机，求解分离超平面的步骤如下：

1）设置参数初始值。

2）在训练集中选取样本点（ ）。

3）判断如果，利用公式进行参数修正：、 。

4）判断是否还存在误分类样本点；如果有，则回到2）。

 

6、为什么要使用“对偶”？

因为对偶形式简化了迭代和计算过程。对比问题5和问题4中的算法推导，“对偶形式”的迭代式更加简明，迭代过程中只需要做简单的加减法即可，而无需像原始形式一样实时计算。

 

7、算法的收敛性？

通过数学推导，可以证明不论是原始形式还是对偶形式；只要数据集是线性可分的，通过有限次的迭代，就可以求得“分隔超平面”，即求得。