感知机学习策略（统计学习方法）之二

给定一个数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T = \left \{ (x_1,y_1),(x_2,y_2),...,(x_N,y_N) \right \} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中，$x_i\in X=R^n$， y i ∈ Y = { + 1 , − 1 } y_i \in Y= \mathbb{\{+1,-1}\} yi​∈Y={+1,−1}，$i=1,2,...,N$，如果存在某个超平面$S$，可以将数据集划分为：对所有$y_i=+1$的实例$x_i$，有$w\cdot x>0$；对所有$y_i=-1$的实例$x_i$，有$w\cdot x>0$，那么我们就说这个数据集$T$是线性可分的，在下述中我们均在数据集$T$线性可分的假设下讨论。

学习策略

为求得这个可以准确划分正、负实例的超平面$S:w\cdot x=0$，我们需要确定模型参数$w$和$b$，因此，需要确定一个学习策略，即定义一个经验损失函数并将其最小化。
在感知机模型中选用的损失函数定为：误分类点到超平面$S$的距离的总和。
首先，我们复习一下点到直线的距离公式：
$$d=\left|\frac{A{x}_0+B{y}_0+C}{\sqrt{A^2+B^2}}\right|$$由此，输入空间$R^n$中任一点$x_0$到超平面$S$的距离为：
$$\frac{1}{\Vert w\Vert }\left|w\cdot x_0+b\right|1$$$||w||$为向量$w$的$L_2$范数，即$\sqrt{w_1^2+w_2^2+...+w_N^2}$
对于误分类的数据$(x_i,y_i)$来说有：
$$-y_i(w\cdot x_i+b)>02$$恒成立。
因为当$w\cdot x>0$时，$y_i=-1$；当$w\cdot x<0$时，$y_i=+1$。因此，任意误分类点$x_i$到超平面$S$的距离为:
$$-\frac{1}{\Vert w\Vert }{y}_i\left(w\cdot x_i+b\right)3$$（注：为什么距离从上式$1$的绝对值变成了本式的$-y_i\ast (...)$?
我的理解为：这样操作不会改变表达式的值，但却能去掉绝对值，使得损失函数具有更好的数学性质，如可导性等）
此时，假设超平面$S$的误分类点集合为$M$，那么所有的误分类点到超平面$S$的距离总和为:
$$-\frac{1}{\Vert w\Vert }\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$不考虑$\frac{1}{||w||}$的话，就得到了感知机模型的损失函数。
$$L(w,b)=-\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$由式$2$知，损失函数$L(w,b)$是非负的。
下一章：感知机原始形式算法与python实现