- 博客(6)
- 收藏
- 关注
转载 写在SVM之前——凸优化与对偶问题
本篇是写在SVM之前的关于优化问题的一点知识,在SVM中会用到。考虑到SVM之复杂,将其中优化方面基础知识提出,单作此篇。所以,本文也不会涉及优化问题的许多深层问题,只是个人知识范围内所了解的SVM中涉及到的优化问题基础。一、凸优化问题在优化问题中,凸优化问题由于具有优良的性质(局部最优解即是全局最优解),受到广泛研究。对于一个含约束的优化问题:{minxf
2017-08-13 15:52:36 727
转载 SVM之解决线性不可分
上一篇SVM之核函数介绍了通过计算样本核函数,实际上将样本映射到高维空间以望使其线性可分的方法,一定程度上解决了线性不可分问题,但并不彻底。现在,换个思路,对于线性不可分问题不再千方百计的变换数据使其线性可分,对于有些数据,找到合适的变换可能是相当困难的。我们允许数据线性不可分,允许得到的分类器对一些样本而言不“完美”,但分类器得为自己的不“完美”付出代价,它要受到惩罚!考虑之前线
2017-08-13 15:51:48 3999
转载 SVM之核函数
上一篇SVM之对偶问题中讨论到,SVM最终形式化为以下优化问题(1){maxα∑iαi−12∑i,jαiαjyiyjs.t.{αi≥0∑iαiyi=0而且最终的判别式可以写成(2)wTx+b=∑iαiyi+b之前已对(1)的求解做了简单提及,需要注意的是,优化问题(1)虽然可以直接求解,但是要基于训练数据线性可分的基础,如果数据本身线性不可分呢?解决
2017-08-13 15:51:13 447
转载 SVM之对偶问题
前一篇SVM之问题形式化中将最大间隔分类器形式化为以下优化问题:(1){minw,b12∥w∥2s.t.yi(wTxi+b)≥1容易发现这是一个凸优化问题,而凸优化问题问题一般而言是满足Slater条件的(具体证明我也不懂),所以可以等价地求解其对偶问题。转而求解其对偶问题,是因为它的对偶问题有很好的形式(向量内积形式),可以为SVM很方便的引人核函数。关于对偶问题的基本概念在
2017-08-13 15:50:31 325
转载 SVM之问题形式化
VM内容繁多,打算用五篇文章来记述。SVM之问题形式化描述给出SVM的问题描述与基本模型;SVM之对偶问题将SVM求解转换为对偶问题的求解;SVM之核函数描述了SVM引人核函数进行特征向高维映射的过程;SVM之解决线性不可分描述了SVM对线性不可分数据的处理方法;另外,写在SVM之前——凸优化与对偶问题本身与SVM无关,但涉及了SVM优化问题求解的基础,是SVM之对偶问题和SVM之解决线性不可分的
2017-08-13 15:49:47 782 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人