SVM模型结构

一、模型的思想、假设

通俗来讲，SVM是一种二类分类模型，其基本模型定义为：特征空间上的间隔最大的线性分类器，其学习策略是间隔最大化，最终可转化为一个凸二次规划问题的求解。

二、模型的构建和结构

2.1 模型构建

1）KEY IDEA1：决策边界，如果给定了一个训练集，目标是找到一个边界，使其离它最近的训练样本距离，越宽越好。

决策公式：if W*Ux>=C then 正类, else 负类

意思是说，对于任意一个样本Ux，如果W*Ux + b>= 0，即判定该样本为正类，否则为负类。

模型的目的就是通过求解W,b，确定一个最优的街宽

2）KEY IDEA2：对于站在街边的点（support vector），我们可以归一化的给出公式并认为：

Wt*x + b <= -1

Wt * x +b >= +1

yi为分类标签，只能取 +1/-1，则上面的公式可以统一地表示为：

                             

3）KEY IDEA3： 街的宽度：

WIDTH = (X+ - X-) * W/|W| = (X+*W - X-*W) /|W| = (1-b -( -1-b))/|W| = 2/|W|

SVM想要做的事情就是 argmax(WIDTH) -> argmax(1/|w|) -> argmin(|w|) -> argmin(1/2|w|^2)

s.t. yi(wx+b) -1 >= 0

4) KEY IDEA4：拉格朗日求带等式约束的极值问题

则原始问题为：

二、拉格朗日乘子法

上面的原始问题，通过拉格朗日乘子法可以变为：

 容易验证，当某个约束条件不满足时，例如，那么显然有（只要令即可）。而当所有约束条件都满足时，则最优值为，亦即最初要最小化的量。

    因此，在要求约束条件得到满足的情况下最小化，实际上等价于直接最小化（当然，这里也有约束条件，就是≥0,i=1,…,n）   ，因为如果约束条件没有得到满足，会