SVM初认识

最新推荐文章于 2020-03-05 12:20:08 发布

Sophia_Xwt

最新推荐文章于 2020-03-05 12:20:08 发布

阅读量916

点赞数

分类专栏：算法跟离散数学

本文链接：https://blog.csdn.net/elfxwt_study/article/details/12611819

版权

算法跟离散数学专栏收录该内容

9 篇文章 0 订阅

订阅专栏

1、数据分类中的一种算法，支持向量机。将两类数据划分中的界线，可直线（平面），可曲线（曲面），直线便为线性可分，否则便为非线性可分。而SVM力求线性可分的情况，于是所包含内容有将低维空间映射到高维空间，使非线性变成线性之分，这个过程有映射函数的设计。

2、线性可分之后，用线性判定分类面方法，主要是求最优化问题，线性支持向量机是基于最大间隔法（找一个平面使其到分隔线的距离最大），是二次规划的问题，使用拉格朗日函数合并优化问题和约束，再使用对偶理论。剩下的式子就看不懂了……

3、继续看维基百科，明白我们是要找最大间隔面，通过wx-b=0的式子，根据平面距离求最大，2/w求最大，w取最小，拉格朗日求极值的方法，最后得到

$\min_{\mathbf{w},b,\boldsymbol{\alpha}} \{ \frac{1}{2}\|\mathbf{w}\|^2 - \sum_{i=1}^{n}{\alpha_i[c_i(\mathbf{w}\cdot \mathbf{x_i} - b)-1]} \}$ 一系列分析之后，得到xi便为边缘上的支持向量，又得到下面这个式子

$\mathbf{w} = \sum_{i=1}^n{\alpha_i c_i\mathbf{x_i}}$ ，在从这个式子得到对偶型： $\max_{\alpha} \sum_{i=1}^n\alpha_i - \sum_{i,j} \alpha_i \alpha_j c_i c_j x_i^Tx_j$ （？？？）

4、又看了july的分析，进一步理解，摘抄SVM的本质：

SVM它本质上即是一个分类方法，用w^T+b定义分类函数，于是求w、b，为寻最大间隔，引出1/2||w||^2，继而引入拉格朗日因子，化为对单一因数对偶变量a的求解（求解过程中会涉及到一系列最优化或凸二次规划等问题），如此，求w.b与求a等价，而求a的解法即为SMO，至于核函数，是为处理非线性情况，若直接映射到高维计算恐维度爆炸，故在低维计算，等效高维表现。

还有松弛因子的引入，是为了处理个别样点超出常规范围，将其拉回来的一个值，是可以忽略的一段距离，同时保证此距离最短。

5、各个过程的细节研究再TBC。