谁都能学会的SVM（支持向量机）分类器（一）超平面篇

谁都能学会的SVM（支持向量机）分类器（一）超平面篇

机器学习领域问题实现模式一般为特征+分类器，SVM分类器在机器学习分类器领域地位举足轻重。
SVM擅长解决什么类型的问题呢？
１．小样本
２．非线性(松弛变量、核函数为SVM精髓)
３．高维模式识别（例如文本分类）

从感知机开始，引入超平面的概念

n 维空间中的超平面由下面的方程确定:
$$w^{T}x+b=0$$其中，w和x都是n维列向量，x 为平面上的点，w 为平面上的法向量，决定了超平面的方向，b 是一个实数，能决定超平面到原点的距离。
$$x={(x_1,x_2,x_3,\cdot \cdot \cdot ,x_n)}^T$$$$w={(w_1,w_2,w_3,\cdot \cdot \cdot ,w_n)}^T$$

• w为什么是法向量？
• b为什么能决定超平面到原点的距离？
• 关于超平面是否会经过原点的问题

在查超平面的定义时，其百度百科词条写道：因为是子空间，所以超平面一定经过原点，很多博客根据这个定义默认了此概念，并没有过多的解释，在介绍支持向量机超平面时，加上超平面一定经过原点。虽然过不过原点对后面的SVM的学习没有过多影响，还是要弄清楚这一点。如果超平面一定过原点，那ｂ代表的超平面与原点间的位移，不就恒为０了吗？

为了帮助理解，首先做一个概念区分（线性子空间＆仿射子空间）：

• 线性子空间: 如果$Ｗ$是线性空间$Ｖ$的一个非空子集，记作$W\le V$则

  • $W$必须包含0向量，因为０肯定属于$Ｖ$
  • 如果向量$ｘ$属于$Ｗ$空间，则向量$C\ast ｘ$也必须属于$Ｗ$空间（乘法封闭性）
  • 如果两个向量$A$和$B$属于$Ｗ$空间，则向量$A+B$也属于$Ｗ$空间（加法封闭性）

• 仿射子空间：$V$的一个非空子集$Y$为$V$的仿射子空间，如果存在一个$V$的线性子空间$W\le V$和向量$a_0\in V$，那么 Y = a 0 + W = { a 0 + β ∣ β ∈ W } Y=a_0+W=\{a_0+\beta\vert\beta\in W\} Y=a0​+W={a0​+β∣β∈W}由此可以得出结论：仿射子空间是对应线性子空间的平移，而支持向量机所说的超平面泛指仿射子空间，该超平面并不一定经过原点。百度百科默认子空间代表线性子空间，因此它所构成的超平面一定经过原点。超平面$w^{T}x+b=0$式中，b为位移项，决定了超平面到原点的距离。

说了这么多只解释清楚了是否过原点的问题，所以$w$为什么是法向量？

降维说明一下该问题，建立方程：$$ax+by+c=0$$$$y=\frac{-ax-c}{b}$$其包含的点集Q为：

$令x=t$$$(t,\frac{-at-c}{b})=t(1,-\frac{a}{b})-(0,\frac{c}{b})$$该函式是经过点(0,$\frac{c}{b}$),方向为（1，-$\frac{a}{b}$）的直线

$令n=（a，b）$，则$n\ast (t,\frac{-at-c}{b})+c=0$

在Q点集上任取一点$(x_0，y_0)$，$c=-n\ast (x_0，y_0)$

则$n\ast (t,\frac{-at-c}{b})-n\ast (x_0，y_0)=0\iff n\ast ((t,\frac{-at-c}{b})-(x_0，y_0))=0$

由于$(t,\frac{-at-c}{b})和(x_0，y_0)$都为点集$Q$上的一点，所以证明了$n\perp L$

同理将该方法推向多维依然适用，说了这么多终于可以证明$w$为什么是超平面的法向量

点到直线的距离

针对超平面$w^{T}x+b=0$，由点到直线的距离可以推出，任意点到超平面的距离$d$:
$$d=\frac{|w^{T}x+b|}{||w||}$$