SVM（支持向量机）的工作原理

\qquad SVM用的比较多，最近学习了其推导过程，自己写一遍，算是做个加强。

SVM有三种形式

\qquad 第一种是线性可分SVM（硬间隔最大化，hard margin maximization），通俗说就是画条线既可以区分得很清楚，形象表示：

\qquad 第二种是线性svm（软间隔最大化,soft margin maximization，与第一种比少了“线性”两个字），通俗的说就是画条线后两边还是有少数的错点，如下图所示两边还是有一些错点导致并不能简单的线性可分：

\qquad 第三种是非线性支持向量（与前两种比，多了“核函数”），存在分割的曲线（2D）、曲面（3D）、超曲面（nD）才能把散点分开，比如下面的图：

SVM数学推导，原理大概也就是这样

\qquad 我们知道直线方程有3种表达方式：
\qquad \qquad （1）$y=kx+b$ 斜截方程
\qquad \qquad （2）$\overrightarrow{y}=\overrightarrow{w}\overrightarrow{x}+b$ 向量方程，其中$b$为标量
\qquad \qquad （3）$Ax+By+C=0$ 直线方程基本表示方法
\qquad 这3种方法都能表示一条直线，同时，我们知道求直线外一点到直线的最短距离为：
\qquad \qquad $d=\frac{|A{x}_0+B{y}_0+C|}{\sqrt{A^2+B^2}}.........(4)$
\qquad 把上面的(4)式子去掉绝对值有了正负，就是考虑了该点位于线的那一侧，比如为正则表示在线的上方，为负则表示在线的下方（举个列子而已），这时候距离可以表示为：
\qquad \qquad $d=\frac{A{x}_0}{\sqrt{A^2+B^2}}+\frac{B{y}_0}{\sqrt{A^2+B^2}}+\frac{C}{\sqrt{A^2+B^2}}.........(5)$

\qquad 记:$\overline{A}=\frac{A{x}_0}{\sqrt{A^2+B^2}}$ \qquad $\overline{B}=\frac{B{x}_0}{\sqrt{A^2+B^2}}$ \qquad $b=\frac{C{x}_0}{\sqrt{A^2+B^2}}$
\qquad 记:$\overrightarrow{w}=(\begin{array}{c}\overline{A}\\ \overline{B}\end{array}$