u014711234的博客

本篇是写在SVM之前的关于优化问题的一点知识，在SVM中会用到。考虑到SVM之复杂，将其中优化方面基础知识提出，单作此篇。所以，本文也不会涉及优化问题的许多深层问题，只是个人知识范围内所了解的SVM中涉及到的优化问题基础。一、凸优化问题在优化问题中，凸优化问题由于具有优良的性质（局部最优解即是全局最优解），受到广泛研究。对于一个含约束的优化问题：{minxf

上一篇SVM之核函数介绍了通过计算样本核函数，实际上将样本映射到高维空间以望使其线性可分的方法，一定程度上解决了线性不可分问题，但并不彻底。现在，换个思路，对于线性不可分问题不再千方百计的变换数据使其线性可分，对于有些数据，找到合适的变换可能是相当困难的。我们允许数据线性不可分，允许得到的分类器对一些样本而言不“完美”，但分类器得为自己的不“完美”付出代价，它要受到惩罚！考虑之前线

上一篇SVM之对偶问题中讨论到，SVM最终形式化为以下优化问题(1){maxα∑iαi−12∑i,jαiαjyiyjs.t.{αi≥0∑iαiyi=0而且最终的判别式可以写成(2)wTx+b=∑iαiyi+b之前已对(1)的求解做了简单提及，需要注意的是，优化问题(1)虽然可以直接求解，但是要基于训练数据线性可分的基础，如果数据本身线性不可分呢？解决

前一篇SVM之问题形式化中将最大间隔分类器形式化为以下优化问题：(1){minw,b12∥w∥2s.t.yi(wTxi+b)≥1容易发现这是一个凸优化问题，而凸优化问题问题一般而言是满足Slater条件的（具体证明我也不懂），所以可以等价地求解其对偶问题。转而求解其对偶问题，是因为它的对偶问题有很好的形式（向量内积形式），可以为SVM很方便的引人核函数。关于对偶问题的基本概念在

VM内容繁多，打算用五篇文章来记述。SVM之问题形式化描述给出SVM的问题描述与基本模型；SVM之对偶问题将SVM求解转换为对偶问题的求解；SVM之核函数描述了SVM引人核函数进行特征向高维映射的过程；SVM之解决线性不可分描述了SVM对线性不可分数据的处理方法；另外，写在SVM之前——凸优化与对偶问题本身与SVM无关，但涉及了SVM优化问题求解的基础，是SVM之对偶问题和SVM之解决线性不可分的

图像处理面试