SVM
支持向量机，因其英文名为support vector machine，故一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
1、把线性分类器套在逻辑回归模型就是SVM；
2、找到间隔最大化，支持向量概念；
3、从线性可分到线性不可分、从原始问题到对偶问题的求解；
4、这个问题的特殊结构，还可以通过拉格朗日对偶性（Lagrange Duality）变换到对偶变量 (dual variable) 的优化问题，即通过求解与原问题等价的对偶问题（dual problem）得到原始问题的最优解，这就是线性可分条件下支持向量机的对偶算法，这样做的优点在于：一者对偶问题往往更容易求解；二者可以自然的引入核函数，进而推广到非线性分类问题。
5、什么是拉格朗日对偶性呢？简单来讲，通过给每一个约束条件加上一个拉格朗日乘子（Lagrange multiplier），定义拉格朗日函数（通过拉格朗日函数将约束条件融合到目标函数里去，从而只用一个函数表达式便能清楚的表达出我们的问题）
6、满足KTT条件：它是一个非线性规划（Nonlinear Programming）问题能有最优化解法的必要和充分条件。
7、到目前为止，我们的 SVM 还比较弱，只能处理线性的情况，不过，在得到了对偶dual 形式之后，通过 Kernel 推广到非线性的情况就变成了一件非常容易的事情了。
8、原始的方法，那么在用线性学习器学习一个非线性关系，需要选择一个非线性特征集，并且将数据写成新的表达形式，这等价于应用一个固定的非线性映射，将数据映射到特征空间，在特征空间中使用线性学习器，因此，考虑的假设集是这种类型的函数：
9、这里ϕ：X->F是从输入空间到某个特征空间的映射，这意味着建立非线性学习器分为两步：
1）首先使用一个非线性映射将数据变换到一个特征空间F，
2）然后在特征空间使用线性学习器分类。
10、而由于对偶形式就是线性学习器的一个重要性质，这意味着假设可以表达为训练点的线性组合，因此决策规则可以用测试点和训练点的内积来表示：
11、 核是一个函数K，对所有x，z(-X，满足
，这里φ是从X到内积特征空间F的映射
12、软间隔、硬间隔、松弛变量、惩罚因子（对软间隔噪点的关注度）概念
13、所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。
14、K(w,x),他接受低维空间的输入值，却能算出高维空间的内积值<w’,x’>；
15、支持向量机就是使用了核函数的软间隔线性分类法。
16、之前一直在讨论的线性分类器，只能对线性可分的样本做处理。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，也就是无法收敛容易震荡
17、事实上，只要是满足了Mercer条件的函数，都可以作为核函数。核函数的基本作用就是接受两个低维空间里的向量，能够计算出经过某个变换后在高维空间里的向量内积值。
Mercer定理：
如果函数K是
上的映射（也就是从两个n维向量映射到实数域）。那么如果K是一个有效核函数（也称为Mercer核函数），那么当且仅当对于训练样例
，其相应的核函数矩阵是对称半正定的。
请注意，这个mercer定理不是核函数必要条件，只是一个充分条件，即还有不满足mercer定理的函数也可以是核函数。所谓半正定指的就是核矩阵K的特征值均为非负。
常用核函数：
多项式核函数、高斯核函数、Sigmoid核函数等
18、SVM多分类方法：
1）一对其余方法；
2）一对一法（有重叠）；
3）DAG-SVM(一对一基础上构建有向无环图，无重叠)。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
