SVM

SVM（Support Vector Machine）

本博主要是采用周志华的《机器学习》部分，外加自己的理解。
1. 划分超平面方程如下

这个方程可以从向量的内积的意义来理解。
$\vec{a}\cdot\vec{b}=|\vec{a}|\cdot|\vec{b}|\cdot cos<\vec{a},\vec{b}>$
$\vec{w}^T\cdot\vec{x}$ 的结果是 $\vec{x}$ 在 $\vec{w}$ 方向上的投影乘以$|\vec{w}|$。假设$\vec{x}$ 和 $\vec{w}$都是从原点出发，处于超平面（二维空间的超平面是直线，三维空间上的超平面是平面）上的任意点 $x$ 对应的 $\vec{x}$ 和$\vec{w}$的点乘结果都是一样的，其值为$-b$。
因此$\vec{w}$ 是这个超平面的法向量，而$b$则为这个超平面到原点的距离的平方。$\vec{w}$和$b$决定了这个超平面的方向和位置。具体如下图展示：

2. 样本空间中的任意点$x$到超平面的距离

这个公式在书中一下子给出来，可能有点绕。
假设${X_p}$是${x}$在超平面上的投影，$\vec{x}=\vec{X_p}+r\frac{\vec{w}}{||\vec{w}||}$，有公式$f(x)=\vec{w}^T\vec{x}+b$，则$f(\vec{X}_p)=\vec{w}^T\vec{X_p}+b=0$。
$f(x)=f(\vec{X_p}+r\frac{\vec{w}}{||\vec{w}||})=\vec{w}^T\cdot(\vec{X_p}+r\frac{\vec{w}}{||\vec{w}||})+b=r||\vec{w}||=\vec{w}^T\vec{x}+b$
由此可以导出公式：
$r=\frac{|\vec{w}^T\vec{x}+b|}{||\vec{w}||}$
示意图如下所示：

3. 进行分类

这里主要是想要解释一下6.4式怎么得来的。从6.3式的约束以及图6.2可以看出，与超平面平行且相隔距离为1的两条直线将训练集分为了两块。则根据6.2式可以得到两个异类支持向量到超平面的距离之和为$\gamma=\frac{2}{||\vec{w}||}$
4.