统计学习方法笔记：第七章.支持向量机

第七章：支持向量机

线性支持向量机

线性可分或硬间隔支持向量机

前提：训练数据集$线性可分$；

学习目标：特征空间的分离超平面：$w\cdot x+b=0，w\ne 0$；这个超平面是$唯一的$；

学习策略：最大间隔法，等价于下列的最优化问题：

$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$
$st.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,...N$

由于是条件约束的最优化问题，所以自然想到采用$拉格朗日乘数法$来求解问题，一般转化为求解$对偶问题$,引入拉格朗日乘子后，原始问题成为下式：

$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x+b)+\sum _{i=1}^N{\alpha }_i;$,每一个$\alpha$对应一个样本；

原始问题的对偶问题是极大极小问题：

$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha );$

1. 先求解极小化问题：求导、等于0解得：
   $w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i；$
   $\sum _{i=1}^N{\alpha }_i{y}_i;$

2. 然后使用最优化方法来求解$\alpha$
   $\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-$