SVM→4.目标函数的求解
《SVM→4
.目标函数的求解 》
- 原优化问题
的拉格朗日函数是图
若x是二维的点,则w是二维的,a、b、y是一维的
- 原优化问题是凸优化问题
- 上述的拉格朗日函数是凸函数
- 建立原优化问题的对偶问题:
- 求拉格朗日对偶函数
- 分别对w,b求偏导数令其等于0
→
- w是一个向量,
在原优化问题中的1/2可以消掉这个2,这也是原优化问题目标函数除以2的原因,
- 求得的w是支持向量的线性组合,参考见第5课→SVM→SVM求解实例
- 代入拉格朗日函数中得
- 注意:
代表点乘
- 最终得到
- 约束条件:图
- 分别对w,b求偏导数令其等于0
- 建立对偶问题
- 可将
转化为
- 转变为对偶优化问题的好处是:
- 约束条件变得简单了:不等式约束仅有ai≥0,等式约束仅有yi标量而没有复杂的xi向量
- 将所有的x的信息放在(xi•xj)上,从而针对不同的分类问题使用不同的核
- 这个目标函数其实可以这么记:
- 可将
- 求拉格朗日对偶函数
- 通过求解a*(最优的a 可以使用SMO算法求解),进而求解w*和b*确定超平面方程和分类决策函数
- w和b是图
只能利用支持向量来求b,因为在原优化问题约束条件中,等号只有在样本为支持向量时成立
- 分离超平面可以写成
- 分类决策函数可以写成图
- 分类决策函数只依赖于输入x和所有支持向量训练样本的内积
- w和b是图
- 上述推导需满足KKT条件:
- ai≥0
- 1-yi(wxi+b)≤0
- ai( 1-yi(wxi+b) )=0
- 当样本为支持向量时,ai>0,此时1-yi(wxi+b)=0
- 当样本不是支持向量时,ai=0,此时1-yi(wxi+b)<0
扩展:
- 符号函数(Sign function,简称sgn)是一个逻辑函数,用以判断实数的正负号。为避免和英文读音相似的正弦函数(sine)混淆,它亦称为Signum ['saɪɡnəm] function。其定义为:
- 序列最小最优化( sequential minimal optimization. SMO) 算法 将原问题不断分解为子问题并对子问题求解, 进而达到求解原问题的目的 。
- 将多个变量的函数求极值问题转化为单个变量的函数求极值
- 我们的目标函数包含ai(i=1,...N),我们将其中一个变量当做变量,剩余的变量随机赋初始值,则目标函数变为单变量的函数求极值问题,比如我们求出了a1*
- 此时我们再假设a2为变量,剩余的变量随机赋随机值(a1是a1*),再进行求解
- 不停地迭代,直至解收
- 注 意, 子问题的两个变量中只有一个是自由变量,假设a1变量,a2,a3,a4,...a5固定,那么由于
可知
,即变量a1已经被解出, 所以我们需要假设两个变量而不是假设一个。
posted on 2018-10-08 08:35 LeisureZhao 阅读(...) 评论(...) 编辑 收藏