监督学习算法——支持向量机（SVM）算法

工作原理

SVM 就是帮我们找到一个超平面，这个超平面能将不同的样本划分开，同时使得样本集中的点到这个分类超平面的最小距离（即分类间隔）最大化。

硬间隔

假如数据是完全的线性可分的，那么学习到的模型可以称为硬间隔支持向量机。

公式推导

如何求 点到这个分类超平面的最小距离（即分类间隔）最大化：
点到直线的距离：$$d=\frac{|Ax+By+C|}{\sqrt{A^2+B^2}}$$

拓展到n维空间：$$w^{T}x+b=0$$ d = ∣ w T x + b ∣ ∥ w ∥ ∥ w ∥ = w 1 2 + w 2 2 + … + w n 2 d=\frac{\left|w^{T} x+b\right|}{\|w\|} \quad\|w\|=\sqrt{w_{1}^{2}+w_{2}^{2}+\ldots+w_{n}^{2}} d=∥w∥∣∣​wTx+b