参考了:https://blog.csdn.net/u014433413/article/details/78427574
0 由来
在二分类问题中,我们可以计算数据代入模型后得到的结果,如果这个结果有明显的区别,这就说明模型可以把数据分开。那么,怎么表示“区别”这个词呢,拿最简单的二维问题来讲,“区别”可以是数据点分布在一条直线的两侧,而数据点代入方程后得到的结果符号是不同的,这就达到了分类的目的。 而SVM的思想也是这样,目的就是找到一个超平面,将数据点都正确地分在超平面的两侧。那么,又怎么表示这个“都正确”呢?可以这样考虑:
就是让那些“很有可能不正确”的数据点彼此分开得明显一点就可以了。对于其它“不那么可能不正确”或者说“一看就很正确”的数据点,就可以不用管了
。这也是SVM名称的由来,模型是由那些支持向量(Support Vector)决定的。这也是为什么SVM对outlier不敏感。
1 间隔
遵循上面的逻辑,我们去假设空间里找模型了。但是一下子出来好多个模型都符合我们的要求,怎么办?自然我们想要找到“最优”的那一个模型。那么,怎么衡量这个“最优”呢?根据【超平面】【数据点】【分开】这几个词,我们可以想到最优的模型必然是最大程度地将数据点划分开的模型,不能靠近负样本也不能靠近正样本,要不偏不倚,并且与所有Support Vector的距离尽量大才可以。这就引出了间隔的讨论。
上图中 x0x0 是 xx 在超平面上的投影,ωω 是超平面的法向量,二者平行可以得到:
x−x0=γω‖ω‖(1.1)(1.1)x−x0=γω‖ω‖
两边同乘
ωTωT
并利用
ωTx0+b=0,ωTω=‖ω‖2ωTx0+b=0,ωTω=‖ω‖2
得到:
γ=ωT+b‖ω‖=f(x)‖ω‖(1.2)(1.2)γ=ωT+b‖ω‖=f(x)‖ω‖
当然,上式是带正负号的,如果要得到正值,即点到超平面的距离,乘上数据点的类别就好:
γ̃ =yγ(1.3)(1.3)γ~=yγ
2 最大间隔分类器
上面我们推导出了间隔的表达式,自然的,我们想让数据点离超平面越远越好。
回顾一下,在这样的模型中,我们只考虑那些支持向量就可以了,对于那些显然可以分类成功的数据点,我们顺带着讨论它们就可以。
不妨令那些“有可能分类不成功的点”,即靠近超平面的点,分布在超平面 ωTx+b=±1ωTx+b=±1 上,这里的取值 1 只是为了方便推导,后面我们可以看到,这个值不影响最后的优化过程。
这样,支持向量到达我们要优化的超平面 ωTx+b=0ωTx+b=0 的距离就是 1‖ω‖1‖ω‖,两侧的距离加起来就是2‖ω‖2‖ω‖,同时,我们要求模型对正负样本要做到“不偏不倚”,对于这一条,我们加上限制条件 y(ωT+b)⩾1y(ωT+b)⩾1 就好。于是我们得到了不等式约束优化问题:
⎧⎩⎨⎪⎪max2‖ω‖s.t.yi(ωTxi+b)⩾1,i=1,2,...,m(2.1)(2.1){max2‖ω‖s.t.yi(ωTxi+b)⩾1,i=1,2,...,m
为了方便推导,上式可以等价地写成:
⎧⎩⎨⎪⎪min12‖ω‖2s.t.yi(ωTxi+b)⩾1,i=1,2,...,m(2.2)(2.2){min12‖ω‖2s.t.yi(ωTxi+b)⩾1,i=1,2,...,m
3 拉格朗日乘子法对偶问题
(2.2) 的优化目标是二次的,约束是线性的,整体是一个凸二次规划问题。有现成的优化包可以求解。但将其转化为拉格朗日对偶问题后求解更容易,也方便我们后面引入核函数。
对式 (2.2) 的每一个不等式约束条件(m个数据点共有m个不等式)设置对应的拉格朗日乘子 αi>0αi>0 ,得到原始问题的拉格朗日函数:
L(ω,b,α)=12‖ω‖2+∑i=1mαi[1−yi(ωTxi+b)](3.1)(3.1)L(ω,b,α)=12‖ω‖2+∑i=1mαi[1−yi(ωTxi+b)]
目标是让拉格朗如函数
L(ω,b,α)L(ω,b,α)
针对
αα
达到最大值。为什么能够这么写呢,我们可以这样想,哪怕有一个
yi(ωTxi+b)⩾1yi(ωTxi+b)⩾1
不满足,只要让对应的
αiαi
是正无穷就好了。所以,如果
L(ω,b,α)L(ω,b,α)
有有限的最大值,那么那些不等式条件是自然满足的。 之后,我们再让
L(ω,b,α)L(ω,b,α)
针对
ω,bω,b
达到最小值,就可以了。 从而,我们的目标函数变成:
minω,bmaxαL(ω,b,α)=p∗(3.2)(3.2)minω,bmaxαL(ω,b,α)=p∗
为方便求解,我们将 min 和 max 的位置交换一下:
maxαminω,bL(ω,b,α)=d∗(3.3)(3.3)maxαminω,bL(ω,b,α)=d∗
可以证明,
d∗⩽p∗d∗⩽p∗
,可以通过求解
d∗d∗
而近似求解
p∗p∗
。(3.3)即为原始问题的对偶问题。 由于原始优化问题中有不等式条件,这里的对偶问题需要满足下面形式的KKT条件才能有解:
⎧⎩⎨⎪⎪αi⩾0yi(ωTxi+b)−1⩾0αi[yi(ωTxi+b)−1]=0(3.4)(3.4){αi⩾0yi(ωTxi+b)−1⩾0αi[yi(ωTxi+b)−1]=0
这里知道到我们到目前为止的推导是需要满足KKT条件的就好了。
下面我们看一下具体怎样求解对偶问题 (3.3) :
3.1 ω,bω,b 的部分
我们先看一下 minω,bminω,b 的部分。分别令 L(ω,b,α)L(ω,b,α) 对 ω,bω,b 的导数等于0:
∂L(ω,b,α)∂ω=ω−∑i=1mαiyixi=0(3.5)(3.5)∂L(ω,b,α)∂ω=ω−∑i=1mαiyixi=0
∂L(ω,b,α)∂b=∑i=1mαiyi=0(3.6)(3.6)∂L(ω,b,α)∂b=∑i=1mαiyi=0
将(3.5)(3.6)代入(3.1):
L(ω,b,α)=12‖ω‖2+∑i=1mαi[1−yi(ωTxi+b)]=12‖‖‖‖∑i=1mαiyixi‖‖‖‖2+∑i=1mαi−ωT∑i=1mαiyixi=∑i=1mαi+12ωT∑i=1mαiyixi−ωT∑i=1mαiyixi=∑i=1mαi−(∑i=1mαiyixTi)(∑i=1mαiyixi)=∑i=1mαi−∑i=1m∑j=1mαiαjyiyjxTixj(3.7)(3.7)L(ω,b,α)=12‖ω‖2+∑i=1mαi[1−yi(ωTxi+b)]=12‖∑i=1mαiyixi‖2+∑i=1mαi−ωT∑i=1mαiyixi=∑i=1mαi+12ωT∑i=1mαiyixi−ωT∑i=1mαiyixi=∑i=1mαi−(∑i=1mαiyixiT)(∑i=1mαiyixi)=∑i=1mαi−∑i=1m∑j=1mαiαjyiyjxiTxj
问题就变为了:
⎧⎩⎨⎪⎪⎪⎪⎪⎪maxαs.t.∑i=1mαi−∑i=1m∑j=1mαiαjyiyjxTixj∑i=1mαiyi=0αi⩾0(3.8)(3.8){maxα∑i=1mαi−∑i=1m∑j=1mαiαjyiyjxiTxjs.t.∑i=1mαiyi=0αi⩾0
3.2 αα 的部分
得到(3.8)之后怎么求解呢?不难发现这是一个二次规划问题。,但如果样本数过多,则计算量过大。SMO是高效求解这个问题的算法代表。
我们选取两个变量 αi,αjαi,αj ,(3.8)中的其它变量保持固定。得到:
αiyi+αjyj=−∑k≠i,jmαkyk=c(3.9)(3.9)αiyi+αjyj=−∑k≠i,jmαkyk=c
可以将
αjαj
消掉,只保留
αiαi
,(3.8)就变成了关于
αiαi
的单变量二次规划问题,约束是
αi⩾0αi⩾0
,有**闭式解**。这样算起来肯定快。 那么,怎样找这两个变量
αi,αjαi,αj
比较好呢?第一个变量
αiαi
我们肯定选取那个最不满足KKT条件的
αα
,第二个我们需要选让目标函数增长得最多的
αα
,但每次计算太过麻烦。所以有一个启发式的方法:我们选取那个与
αiαi
所对应的样本间隔最大的样本所对应的
αα
作为
αjαj
。这样与更新两个相似的样本相比,目标函数值变化更大。这里的具体推导可以参考 http://blog.csdn.net/ajianyingxiaoqinghan/article/details/73087304 。具体来说,我们可以用**预测值与真实值之差**来衡量这个“样本间的差异”,如果
αiαi
对应的样本预测值与真实值之差为负的,那么我们就尽量找一个差值为正的且绝对值较大的,反之我们就找一个差值为负的且绝对值较大的。在几何上可以理解为找那些暂时被分类错误的样本。 当然,如果得到的
αjαj
不能使函数值下降很多,那么我们还可以干脆就暴力找一个让函数值下降最多的
αjαj
,或者再找一个不符合KKT条件的
αjαj
当做第二个
αα
。 求解出
αnewiαinew
αnewjαjnew
之后,由KKT条件(3.4)可得,若
αnewi>0αinew>0
,则:
yi(∑i=1mαiyixi+b)=1(3.10)(3.10)yi(∑i=1mαiyixi+b)=1
就可以对 b 进行更新,更新之后将预测值与真实值之差的列表更新一遍,以供下次循环使用。 当然,如果
αnewj>0αjnew>0
,也可以计算出相应的 b 值,如果两个 b 值相等就取该值。 如果不相等就取平均值。 还有一种做法就是,对目前模型中所有的
α>0α>0
,都计算一个 b ,取平均值。 等到算法停止,b 也计算好了,
ωω
由(3.5)式得:
ω=∑i=1mαiyixi(3.11)(3.11)ω=∑i=1mαiyixi
这样,原始优化问题就解完了。
4 核函数
在前面的讨论中,我们假设数据集是线性可分的。但是现实任务中,可能并不存在一个超平面将数据集完美得分开。
这种情况下,我们可以通过将原始空间映射到一个高维空间,如果高维空间中数据集是线性可分的,那么问题就可以解决了。
这样,超平面变为:
ωTϕ(x)+b=0(4.1)(4.1)ωTϕ(x)+b=0
经过像前面的一顿推导之后我们得到:
⎧⎩⎨⎪⎪⎪⎪⎪⎪maxαs.t.∑i=1mαi−∑i=1m∑j=1mαiαjyiyjϕ(xi)Tϕ(xj)∑i=1mαiyi=0αi⩾0(4.2)(4.2){maxα∑i=1mαi−∑i=1m∑j=1mαiαjyiyjϕ(xi)Tϕ(xj)s.t.∑i=1mαiyi=0αi⩾0
可见,需要计算
ϕ(xi)Tϕ(xj)ϕ(xi)Tϕ(xj)
,但很多时候,我们并不知道高维空间是什么样子,也就是我们根本连
ϕ(x)ϕ(x)
是什么样子都不知道,更不要说如果高维空间维数很大,
ϕ(xi)Tϕ(xj)ϕ(xi)Tϕ(xj)
计算十分困难。 其实
ϕ(xi)Tϕ(xj)ϕ(xi)Tϕ(xj)
只是一个实数,如果将它们看成一个整体,它也是关于
xi,xjxi,xj
的一个函数,所以,
如果存在那么一个神奇的函数 κ(xi,xj)=ϕ(xi)Tϕ(xj)κ(xi,xj)=ϕ(xi)Tϕ(xj)
,我们就可以在低维空间计算出高维空间的点积结果。这个函数
κ(xi,xj)κ(xi,xj)
就叫做**核函数**。 常用的核函数有:
名称 | 表达式 | 参数 |
---|
线型核 | κ(xi,xj)=xTixjκ(xi,xj)=xiTxj | |
多项式核 | κ(xi,xj)=(xTixj)dκ(xi,xj)=(xiTxj)d | d⩾1d⩾1 为多项式次数 |
高斯核 | κ(xi,xj)=exp(−‖xi−xj‖22σ2)κ(xi,xj)=exp(−‖xi−xj‖22σ2) | σ>0σ>0为高斯核的带宽 |
拉普拉斯核 | κ(xi,xj)=exp(−‖xi−xj‖σ)κ(xi,xj)=exp(−‖xi−xj‖σ) | σ>0σ>0 |
Sigmoid核 | κ(xi,xj)=tanh(βxTixj+θ)κ(xi,xj)=tanh(βxiTxj+θ) | β>0,θ<0tanhβ>0,θ<0tanh为双曲正切函数 |
5 松弛变量
现实任务中,可能用上核函数还是不能线性可分。或者即使找到线性可分的超平面,也不能判断是不是过拟合。因此,我们将标准放宽一些,允许SVM模型在某些数据点上“出错”,为此,要引入“软间隔”:
前面的推导我们要求 yi(ωTxi+b)⩾1yi(ωTxi+b)⩾1 ,现在,我们将条件放宽:
yi(ωTxi+b)⩾1−ξi,i=1,2,...,m(5.1)(5.1)yi(ωTxi+b)⩾1−ξi,i=1,2,...,m
但同时,我们希望这个 ξiξi 尽可能小一点,越小不就越接近前面推导的线性可分么。在目标函数中体现这一点,就得到新的优化问题(对比2.2式):
⎧⎩⎨⎪⎪⎪⎪mins.t.12‖ω‖2+C∑i=1mξiyi(ωTxi+b)⩾1,i=1,2,...,mξi>0(5.2)(5.2){min12‖ω‖2+C∑i=1mξis.t.yi(ωTxi+b)⩾1,i=1,2,...,mξi>0
C是衡量我们“放宽力度”的常数。
与前面的推导类似,我们得到新的拉格朗日函数:
L(ω,b,ξ,α,μ)=12‖ω‖2+C∑i=1mξi+∑i=1mαi[1−ξi−yi(ωTxi+b)]−∑i=1mμiξi(5.3)(5.3)L(ω,b,ξ,α,μ)=12‖ω‖2+C∑i=1mξi+∑i=1mαi[1−ξi−yi(ωTxi+b)]−∑i=1mμiξi
分别令 L(ω,b,ξ,α,μ)L(ω,b,ξ,α,μ) 对 ω,b,ξiω,b,ξi 的导数等于0:
∂L(ω,b,ξ,α,μ)∂ω=ω−∑i=1mαiyixi=0(5.4)(5.4)∂L(ω,b,ξ,α,μ)∂ω=ω−∑i=1mαiyixi=0
∂L(ω,b,ξ,α,μ)∂b=∑i=1mαiyi=0(5.5)(5.5)∂L(ω,b,ξ,α,μ)∂b=∑i=1mαiyi=0
∂L(ω,b,ξ,α,μ)∂ξi=C−αi−μi=0(5.6)(5.6)∂L(ω,b,ξ,α,μ)∂ξi=C−αi−μi=0
将(5.4)(5.5)(5.6)代入(5.3)得到对偶问题:
⎧⎩⎨⎪⎪⎪⎪⎪⎪maxαs.t.∑i=1mαi−∑i=1m∑j=1mαiαjyiyjxTixj∑i=1mαiyi=00⩽αi⩽C(5.7)(5.7){maxα∑i=1mαi−∑i=1m∑j=1mαiαjyiyjxiTxjs.t.∑i=1mαiyi=00⩽αi⩽C
KKT条件:
⎧⎩⎨⎪⎪⎪⎪αi⩾0,μi⩾0yi(ωTxi+b)−1+ξi⩾0αi[yi(ωTxi+b)−1+ξi]=0ξi⩾0,μiξi=0(5.8)(5.8){αi⩾0,μi⩾0yi(ωTxi+b)−1+ξi⩾0αi[yi(ωTxi+b)−1+ξi]=0ξi⩾0,μiξi=0
根据这些条件,用SMO算法求解就可以了,只是在求解相关变量的时候注意有新的范围限制。
从另一个角度观察(5.2),我们可以把 12‖ω‖212‖ω‖2 看成是一个正则化项,也就是结构风险,描述了我们希望模型具有某些性质,也就是引入了先验知识。 C∑mi=1ξiC∑i=1mξi 项是经验风险,用于描述模型与训练集的契合程度,可以把ξiξi写成一个更一般的形式:l(f(xi),yi)l(f(xi),yi),上面推导的模型我们可以认为 ll 是 hinge损失:l(f(xi),yi)=max(0,1−yif(xi))l(f(xi),yi)=max(0,1−yif(xi))。
从这里也可以看出,引入先验知识,可以减小模型求解时的搜索空间,因为我们给了它一个目标:间隔最大化。