《统计学习方法》学习笔记——感知机数学推导

1.什么是感知机

感知机是二类分类的线性模型。

2.核心思想

找一个超平面，把正例和负例分开。

我们可以用

来表示这个超平面。（w=(x1,x2,x3,…)为法向量，决定了超平面的方向；b为截距，决定了超平面与原点的距离）
我们把决策函数定义为：

当wx+b>=0时，f(x)=+1，样本被分为正类；
当wx+b<0时，f(x)=-1，样本被分为负类。

3.如何找到这样的超平面

为了找出这样一种超平面，需要确定一种学习策略，即定义损失函数并将其最小化。
一种思路是让误分类的点总数降到最小，但是这样的损失函数不是参数w,b的连续可导函数，不易优化。
所以我们采用另外一种思路，让误分类点到超平面的距离之和最小。
首先，我们要求出每一个点X(x0,y0)到超平面wx+b