支持向量机

支持向量机

支持向量机的基本想法就是在样本空间中找到一个划分超平面，寻求最大间隔，将不同类别的样本分开，距离超平面最近的几个训练样本点，正好在分割线上，它们称之为“支持向量”。
任意点x到超平面的距离为：
$r=\frac{|w^T x+b|}{||w||}$
点到直线的距离为：$\frac{|Ax_0+By_0+c|}{\sqrt{A^2+B^2}}$
假设超平面把所有训练样本分类正确，则有：

$$\begin{equation} \left\{ \begin{aligned} w^Tx_i+b\ge+1,\ \ y_i=+1\;\\ w^Tx_i+b\le-1,\ \ y_i=-1\;\\ \end{aligned} \right. \end{equation}$$
两个异类支持向量到超平面的距离为：
$r=\frac{2}{||w||}$
欲找到具有“最大间隔”的划分划分超平面，也即：
$max\frac{2}{||w||}\ \ s.t.y_i(w^Tx_i+b)\ge1,\ \ i =1,2,...,m$
等价于： $min\frac{1}{2}||w||^2$

对偶问题

求解极值用拉格朗日方法
$L(w,b,\alpha) = \frac{1}{2}||w||^2+\sum_{i=1}^m\alpha_i(1-y_i(w^Tx_i+b))$
令$L(w,b,\alpha)$对$w,b$求偏导为0得：