统计学习方法-SVM学习笔记（一）

1.线性可分支持向量机
定义：通过给出的线性可分的训练集，通过间隔最大化的求解凸二次规划问题学习得到分割超平面 w^*x+b=0
以及相应的分类决策函数 f(x)=sign(w^*x+b)
预备知识介绍：
如图所示，图中的实线就是一个分割超平面，在图中可以把两类分开的超平面有无数个，我们要做的就是寻找一个间隔最大的超平面（具有容错性）

函数间隔： ri=y_i(wx_i+b) （只能判断划分的置信度即是否划分正确，当w和b同时扩大相同的倍数时，r增大，其实超平面没有变）
几何间隔：Ri=y_i(wx_i+b)/||w||
最大化几何间隔
max R
s.t y_i(wx_i+b)/||w||>R (数据集中的每个点到超平面的距离都小于等于r)
进一步的化简改进
max r/||w||
s.t y_i(wx_i+b)>r
又因为函数间隔r的大小不影响分割超平面，所以令r=1，max 1/||w||与最小化1/2||w||^2等价
所以最终需要优化的函数变为
min 1/2||w||^2
s.t y_i(wx_i+b)-1>=0
求解对偶问题：由于原问题可能不好求解，且为了后面求解线性不可分问题引入和函数，所以将原问题转换为对偶问题求解
预备知识
1.拉格朗日函数： 在机器学习中，约束条件往往比较复杂并且较多。因此先计算约束条件再在约束空间中计算最优值非常不方便。于是用广义拉格朗日函数将带约束优化问题转化为无约束优化问题
首先将约束条件变为小于等于（原因后面介绍）

原问题就变成了min(w,b) max(a) L(w,b,a)的无约束问题
将约束条件变为小于等于是由于max L(w,b,a)的值就变成了1/2||w||^2正好和原问题一样
对偶问题（将min max换位置）
max(a) min(w,b) L(w,b,a)
(未完待续)