出处:结构之法算法之道blog。
前言
动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,从5月22日凌晨两点在微博上说我要写了,到此刻真正动笔要写此文,中间竟然隔了近半个月(而后你会发现,我写完此文又再得花半个月,前后加起来,写这个SVM便要花近一个月)。原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需花费不少时间和精力,二者这个东西也不好讲清楚,尽管网上已经有不少朋友已经写得不错了(见文末参考链接..),但在描述数学公式的时候还是显得不够。得益于同学白石的数学证明,我还是想尝试写一下,希望本文在兼顾通俗易懂的基础上,真真正正能足以成为一篇完整概括和介绍支持向量机的导论性的文章。
本文作为Top 10 Algorithms in Data Mining系列第二篇文章,将主要结合支持向量机导论、数据挖掘导论及网友Free Mind的支持向量机系列而写(于此,还是一篇读书笔记,只是加入了自己的理解,有任何不妥之处,还望海涵),宏观上整体认识支持向量机的概念和用处,微观上深究部分定理的来龙去脉,证明及原理细节,力求深入浅出 & 通俗易懂。
同时,本文,亦即理解SVM分三层境界,
- 第一层、了解SVM(你只需要对SVM有个大致的了解,知道它是个什么东西便已足够);
- 第二层、深入SVM(你将跟我一起深入SVM的内部原理,通宵其各处脉络,以为将来运用它时游刃有余);
- 第三层、证明SVM(当你了解了所有的原理之后,你会有大笔一挥,尝试证明它的冲动);
最后谈谈SVM的应用,编码实现及开源工具libsvm,以此逐层深入,从而照顾到水平深浅度不同的读者,在保证浅显直白的基础上尽可能深入,还读者一个较为透彻清晰的SVM,希望我能做到。还是那句原话,有任何问题,欢迎任何人随时不吝指正 & 赐教,谢谢。
第一层、了解SVM
1.0、什么是支持向量机SVM
然在进入第一层之前,你只需了解什么是支持向量机SVM就够了,而要明白什么是SVM,便得从分类说起。
分类作为数据挖掘领域中一项非常重要的任务,目前在商业上应用最多(比如分析型CRM里面的客户分类模型,客户流失模型,客户盈利等等,其本质上都属于分类问题)。而分类的目的则是学会一个分类函数或分类模型(或者叫做分类器),该模型能吧数据库中的数据项映射到给定类别中的某一个,从而可以用于预测未知类别。
其实,若叫分类,可能会有人产生误解,以为凡是分类就是把一些东西或样例按照类别给区分开来,实际上,分类方法是一个机器学习的方法,分类也成为模式识别,或者在概率统计中成为判别分析问题,或许会让人们消除此类误解。
说实话,上面这么介绍分类可能你不一定内心十分清楚。我来举个例子吧,比如心脏病的确诊中,如果我要完全确诊某人得了心脏病,那么我必须要进行一些高级的手段,或者借助一些昂贵的机器,那么若我们没有那些高科技医疗机器怎么办?还怎么判断某人是否得了心脏病呢?
当然了,古代中医是通过望、闻、问、切“四诊”,但除了这些,我们在现代医学里还是可以利用一些比较容易获得的临床指标进行推断某人是否得了心脏病。如作为一个医生,他可以根据他以往诊断的病例对很多个病人(假设是500个)进行彻底的临床检测之后,已经完全确定了哪些病人具有心脏病,哪些没有,同时,在这个诊断的过程中,医生理所当然的记录了他们的年龄,胆固醇等10多项病人的相关指标。那么,以后,医生可以根据这些临床资料,对后来新来的病人通过检测那10多项年龄、胆固醇等指标,以此就能推断或者判定病人是否有心脏病,虽说不能达到100%的标准,但也能达到80、90%的正确率,而这一根据以往临场病例指标分析来推断新来的病例的技术,即成为分类classification技术。
假定是否患有心脏病与病人的年龄和胆固醇水平密切相关,下表对应10个病人的临床数据(年龄用[x1]表示,胆固醇水平用[x2]表示):
这样,问题就变成了一个在二维空间上的分类问题,可以在平面直角坐标系中描述如下:根据病人的两项指标和有无心脏病,把每个病人用一个样本点来表示,有心脏病者用“+”形点表示,无心脏病者用圆形点,如下图所示:
如此我们很明显的看到,是可以在平面上用一条直线把圆点和“+”分开来的。当然,事实上,还有很多线性不可分的情况,下文将会具体描述。
So,本文将要介绍的支持向量机SVM算法便是一种分类方法。
- 所谓支持向量机,顾名思义,分为两个部分了解,一什么是支持向量(简单来说,就是支持 or 支撑平面上把两类类别划分开来的超平面的向量点,下文将具体解释),二这里的“机”是什么意思。我先来回答第二点:这里的“机(machine,机器)”便是一个算法。在机器学习领域,常把一些算法看做是一个机器,如分类机(当然,也叫做分类器),而支持向量机本身便是一种监督式学习的方法(什么是监督学习与非监督学习,请参见第一篇),它广泛的应用于统计分类以及回归分析中。
支持向量机(SVM)是90年代中期发展起来的基于统计学习理论的一种机器学习方法,通过寻求结构化风险最小来提高学习机泛化能力,实现经验风险和置信范围的最小化,从而达到在统计样本量较少的情况下,亦能获得良好统计规律的目的。
支持向量机算法是一个凸二次优化问题,能够保证找到的极值解就是全局最优解,是神经网络领域域取得的一项重大突破。与神经网络相比,它的优点是训练算法中不存在局部极小值问题,可以自动设计模型复杂度(例如隐层节点数),不存在维数灾难问题,泛化能力强。
对于不想深究SVM原理的同学(比如就只想看看SVM是干嘛的),那么,了解到这里便足够了,不需上层。而对于那些喜欢深入研究一个东西的同学,甚至究其本质的,咱们则还有很长的一段路要走,万里长征,咱们开始迈第一步吧(相信你能走完)。
(本文中出现了诸多公式,什么分类函数(蓝色),目标函数(紫色),dual问题(下划线粗体),若想真正理解本文之内容,我希望读者,无论如何,最好拿张纸和笔出来,把本文所有定理.公式都亲自推导一遍)
1.1、线性分类
OK,在讲SVM之前,咱们必须先弄清楚一个概念:线性分类器(也可以叫做感知机,这里的机表示的还是一种算法,本文第三部分会详细阐述)。
这里我们考虑的是一个两类的分类问题,数据点用 x 来表示,这是一个 n 维向量,而类别用 y 来表示,可以取 1 或者 -1 ,分别代表两个不同的类。一个线性分类器就是要在 n 维的数据空间中找到一个超平面,其方程可以表示为:
对应的几何示意图如下:
1.2、线性分类的一个例子
来理论可能读者看不懂,咱们来直接举一个例子吧,且举最简单的例子,一个二维平面(一个超平面,在二维空间中的例子就是一条直线),如下图所示,平面上有两种不同的点,分别用两种不同的颜色表示,一种为红颜色的点,另一种则为蓝颜色的点,红颜色的线表示一个可行的超平面。
从上图中我们可以看出,这条红颜色的线把红颜色的点和蓝颜色的点分开来了。而这条红颜色的线就是我们上面所说的超平面,也就是说,这个所谓的超平面的的确确便把这两种不同颜色的数据点分隔开来,在超平面一边的数据点所对应的 y 全是 -1 ,而在另一边全是 1 。
接着,我们可以令分类函数
f(x)= wTx+b ,
显然,如果 f(x)=0 ,那么 x 是位于超平面上的点。我们不妨要求对于所有满足 f(x)<0 的点,其对应的 y 等于 -1 ,而 f(x)>0 则对应 y=1 的数据点。
当然,有些时候(或者说大部分时候)数据并不是线性可分的,这个时候满足这样条件的超平面就根本不存在(不过关于如何处理这样的问题我们后面会讲),这里先从最简单的情形开始推导,就假设数据都是线性可分的,亦即这样的超平面是存在的。更进一步,我们在进行分类的时候,将数据点 x 代入 f(x) 中,如果得到的结果小于 0 ,则赋予其类别 -1 ,如果大于 0 则赋予类别 1 。如果 f(x)=0 ,则很难办了,分到哪一类都不是(后续会说明此种情况)。
1.3、Functional margin与Geometrical margin
从几何直观上来说,由于超平面是用于分隔两类数据的,越接近超平面的点越“难”分隔,因为如果超平面稍微转动一下,它们就有可能跑到另一边去。反之,如果是距离超平面很远的点,例如图中的右上角或者左下角的点,则很容易分辩出其类别。
结合上图,我们直接定义
functional margin 为 γˆ=y(wTx+b)=yf(x) ,
对 functional margin 为 γˆ=y(wTx+b)=yf(x)的解释:上面直接给出它的定义并没有说明来由,其实这是有来头的。一般来说,我们定义:样例(xi,yi)对应于超平面(w,b)的函数的间隔量为:γˆ=y(wTx+b)。注意,γˆ>0意味着(xi,yi)被正确分类,超平面(w,b)对应于训练集S的函数的间隔分布就是训练集S中样例的间隔分布。有时,所谓间隔分布的最小值指超平面(w,b)对应于训练集S的函数的间隔。最终,训练集S的间隔是在所有超平面上的最大几何间隔,实现这个最大间隔的超平面称之为最大间隔超平面,对于线性可分的训练集来说,间隔的值都讲是正值。下图是xi,xj分别到超平面的几个间隔距离γi,γj:
注意前面乘上类别 y 之后可以保证这个 margin 的非负性(因为 f(x)<0 对应于 y=−1 的那些点),而
点到超平面的距离定义为 geometrical margin(稍后马上给出定义公式)。
下面不妨来看看functional margin与geometrical margin二者之间的关系。如图所示,对于一个点 x ,令其垂直投影到超平面上的对应的为 x0 ,由于 w 是垂直于超平面的一个向量,我们有
又由于 x0 是超平面上的点,满足 f(x0)=0 ,代入超平面的方程即可算出(别忘了,上面γˆ的定义,γˆ=y(wTx+b)=yf(x)): γ
不过,这里的 γ 是带符号的,我们需要的只是它的绝对值,因此类似地,也乘上对应的类别 y 即可,因此实际上我们定义 geometrical margin 为:
1.4、最大间隔分类器Maximum Margin Classifier的定义
通过上文,我们已经很明显的看出,functional margin 和 geometrical margin 相差一个 ∥w∥ 的缩放因子。按照我们前面的分析,对一个数据点进行分类,当它的 margin 越大的时候,分类的 confidence 越大。对于一个包含 n 个点的数据集,我们可以很自然地定义它的 margin 为所有这 n 个点的 margin 值中最小的那个。于是,为了使得分类的 confidence 高,我们希望所选择的超平面hyper plane 能够最大化这个 margin 值。
不过这里我们有两个 margin 可以选,
1、functional margin 明显是不太适合用来最大化的一个量,因为在 hyper plane 固定以后,我们可以等比例地缩放 w 的长度和 b 的值,这样可以使得 f(x)=wTx+b 的值任意大,亦即 functional margin γˆ 可以在 hyper plane 保持不变的情况下被取得任意大,
2、而 geometrical margin 则没有这个问题,因为除上了 ∥w∥ 这个分母,所以缩放 w 和 b 的时候 γ˜ 的值是不会改变的,它只随着 hyper plane 的变动而变动,因此,这是更加合适的一个 margin 。
这样一来,我们的 maximum margin classifier 的目标函数即定义为
当然,还需要满足一些条件,根据 margin 的定义,我们有
其中 γˆ=γ˜∥w∥ ,根据我们刚才的讨论,即使在超平面固定的情况下, γˆ 的值也可以随着 ∥w∥ 的变化而变化。由于我们的目标就是要确定超平面,因此可以把这个无关的变量固定下来,固定的方式有两种:一是固定 ∥w∥ ,当我们找到最优的 γ˜ 时 γˆ 也就可以随之而固定;二是反过来固定 γˆ ,此时 ∥w∥ 也可以根据最优的 γ˜ 得到。处于方便推导和优化的目的,我们选择第二种,令 γˆ=1 ,则我们的目标函数化为:
通过求解这个问题,我们就可以找到一个 margin 最大的 classifier ,如下图所示,中间的红色线条是 Optimal Hyper Plane ,另外两条线到红线的距离都是等于 γ˜ 的( γ˜ 便是上文所定义的geometrical margin):
到此,算是完成了 Maximum Margin Classifier 的介绍,通过最大化 margin ,我们使得该分类器对数据进行分类时具有了最大的 confidence 。OK,可能你还是不很清楚:这个最大分类间隔期到底是用来干嘛的呢?很简单,SVM 通过使用最大分类间隙Maximum Margin Classifier 来设计决策最优分类超平面,以获得良好的推广能力。
So,对于什么是Support Vector Machine ,我们可以先这样理解,如上图所示,我们可以看到 hyper plane 两边的那个 gap 分别对应的两条平行的线(在高维空间中也应该是两个 hyper plane)上有一些点,显然两个 hyper plane 上都会有点存在,否则我们就可以进一步扩大 gap ,也就是增大
γ˜
的值了。这些点,就叫做 support vector。
1.5、到底什么是Support Vector
上节,我们介绍了Maximum Margin Classifier,但并没有具体阐述到底什么是Support Vector,本节,咱们来重点阐述这个概念。咱们不妨先来回忆一下上次最后一张图:
可以看到两个支撑着中间的 gap 的超平面,它们到中间的纯红线 separating hyper plane 的距离相等,即我们所能得到的最大的 geometrical margin γ˜ 。而“支撑”这两个超平面的必定会有一些点,而这些“支撑”的点便叫做支持向量Support Vector。
很显然,由于这些 supporting vector 刚好在边界上,所以它们是满足 y(wTx+b)=1 (还记得我们把 functional margin 定为 1 了吗?上节中:“处于方便推导和优化的目的,我们选择第二种,令 γˆ=1 ”),而对于所有不是支持向量的点,也就是在“阵地后方”的点,则显然有 y(wTx+b)>1 。(当然,通常除了 K-Nearest Neighbor 之类的 Memory-based Learning 算法,通常算法也都不会直接把所有的点记忆下来,并全部用来做后续 inference 中的计算。不过,如果算法使用了 Kernel 方法进行非线性化推广的话,就会遇到这个问题了。Kernel 方法在第三节介绍)。
OK,到此为止,算是了解到了SVM的第一层,对于那些只关心怎么用SVM的同学便已足够,不必再更进一层深究其更深的原理。
第二层、深入SVM
2.1、从线性可分到线性不可分
当然,除了在上文中所介绍的从几何直观上之外,支持向量的概念也可以从其优化过程的推导中得到。虽然上文1.4节给出了目标函数,却没有讲怎么来求解。现在就让我们来处理这个问题。回忆一下之前得到的目标函数:
这个问题等价于(在这里加上平方,一个系数,显然这两个问题是等价的):
- 到这个形式以后,就可以很明显地看出来,它是一个凸优化问题,或者更具体地说,它是一个二次优化问题——目标函数是二次的,约束条件是线性的。这个问题可以用任何现成的 QP (Quadratic Programming) 的优化包进行求解。所以,我们的问题到此为止就算全部解决了。
- 虽然这个问题确实是一个标准的 QP 问题,但是它也有它的特殊结构,通过 Lagrange Duality 变换到对偶变量 (dual variable) 的优化问题之后,可以找到一种更加有效的方法来进行求解——这也是 SVM 盛行的一大原因,通常情况下这种方法比直接使用通用的 QP 优化包进行优化要高效得多。此外,在推导过程中,许多有趣的特征也会被揭露出来,包括刚才提到的 supporting vector 的问题。
也就说,除了用解决QP问题的常规方法之外,还可以利用对偶变量,来进行更高效的求解。下文中,你将看到“对偶变量dual variable的优化问题”等类似的关键词频繁出现,便是解决此凸优化问题的第二种更为高效的解--对偶变量的优化求解。
至于上述提到,关于什么是Lagrange duality,简单地来说,通过给每一个约束条件加上一个 Lagrange multiplier(拉格朗日乘值),我们可以将它们融和到目标函数里去:
然后我们令
、
容易验证,当某个约束条件不满足时,例如 yi(wTxi+b)<1 ,那么我们显然有 θ(w)=∞ (只要令 αi=∞ 即可)。而当所有约束条件都满足时,则有 θ(w)=12∥w∥2 , 亦即我们最初要最小化的量。因此,在要求约束条件得到满足的情况下最小化 12∥w∥2 实际上等价于直接最小化 θ(w) (当然,这里也有约束条件,就是 αi≥0,i=1,…,n ) ,因为如果约束条件没有得到满足, θ(w) 会等于无穷大,自然不会是我们所要求的最小值。具体写出来,我们现在的目标函数变成了:
这里用 p∗ 表示这个问题的最优值,这个问题和我们最初的问题是等价的。不过,现在我们来把最小和最大的位置交换一下:
当然,交换以后的问题不再等价于原问题,这个新问题的最优值用 d∗ 来表示。并,我们有 d∗≤p∗ ,这在直观上也不难理解,最大值中最小的一个总也比最小值中最大的一个要大吧! 总之,第二个问题的最优值 d∗ 在这里提供了一个第一个问题的最优值 p∗ 的一个下界,在满足某些条件的情况下,这两者相等,这个时候我们就可以通过求解第二个问题来间接地求解第一个问题。具体来说,就是要满足KKT 条件。
所谓的KKT条件,据网上给的资料介绍是(更多见维基百科:KKT 条件),一般地,一个最优化数学模型能够表示成下列标准形式:
所谓 Karush-Kuhn-Tucker 最优化条件,就是指上式的最小点 x* 必须满足下面的条件:
我这里先,直接给结论,后续会证明:我们这里的问题是满足 KKT 条件的,因此现在我们便转化为求解第二个问题。
首先要让 L 关于 w 和 b 最小化,我们分别令 ∂L/∂w 和 ∂L/∂b 等于零:
带回 L 得到:
此时我们得到关于对偶变量dual variable
α
的优化问题:
如前面所说,这个问题有更加高效的优化算法,不过具体方法在这里先不介绍,让我们先来看看推导过程中得到的一些有趣的形式。首先就是关于我们的 hyper plane ,对于一个数据点 x 进行分类,实际上是通过把 x 带入到 f(x)=wTx+b 算出结果然后根据其正负号来进行类别划分的。而前面的推导中我们得到
w=∑ni=1αiyixi
,
因此分类函数为:
这里的形式的有趣之处在于,对于新点 x的预测,只需要计算它与训练数据点的内积即可(⋅,⋅表示向量内积),这一点至关重要,是之后使用 Kernel 进行非线性推广的基本前提。此外,所谓 Supporting Vector 也在这里显示出来——事实上,所有非 Supporting Vector 所对应的系数 α 都是等于零的,因此对于新点的内积计算实际上只要针对少量的“支持向量”而不是所有的训练数据即可。
为什么非支持向量对应的 α 等于零呢?直观上来理解的话,就是这些“后方”的点——正如我们之前分析过的一样,对超平面是没有影响的,由于分类完全有超平面决定,所以这些无关的点并不会参与分类问题的计算,因而也就不会产生任何影响了。这个结论也可由刚才的推导中得出,回忆一下我们刚才通过 Lagrange multiplier 得到的目标函数:
注意到如果 xi 是支持向量的话,上式中红颜色的部分是等于 0 的(因为支持向量的 functional margin 等于 1 ),而对于非支持向量来说,functional margin 会大于 1 ,因此红颜色部分是大于零的,而 αi 又是非负的,为了满足最大化, αi 必须等于 0 。这也就是这些非 Supporting Vector 的点的局限性。
从1.5节到上述所有这些东西,便得到了一个maximum margin hyper plane classifier,这就是所谓的支持向量机(Support Vector Machine)。当然,到目前为止,我们的 SVM 还比较弱,只能处理线性的情况,不过,在得到了 dual 形式之后,通过 Kernel 推广到非线性的情况就变成了一件非常容易的事情了。
2.2、核函数Kernel
咱们首先给出核函数的来头:
- 在上文中,我们已经了解到了SVM处理线性可分的情况,而对于非线性的情况,SVM 的处理方法是选择一个核函数 κ(⋅,⋅) ,通过将数据映射到高维空间,来解决在原始空间中线性不可分的问题。由于核函数的优良品质,这样的非线性扩展在计算量上并没有比原来复杂多少,这一点是非常难得的。当然,这要归功于核方法——除了 SVM 之外,任何将计算表示为数据点的内积的方法,都可以使用核方法进行非线性扩展。
也就是说,Minsky和Papert早就在20世纪60年代就已经明确指出线性学习器计算能力有限。为什么呢?因为总体上来讲,现实世界复杂的应用需要有比线性函数更富有表达能力的假设空间,也就是说,目标概念通常不能由给定属性的简单线性函数组合产生,而是应该一般地寻找待研究数据的更为一般化的抽象特征。
而下文我们将具体介绍的核函数则提供了此种问题的解决途径,从下文你将看到,核函数通过把数据映射到高维空间来增加第一节所述的线性学习器的能力,使得线性学习器对偶空间的表达方式让分类操作更具灵活性和可操作性。我们知道,训练样例一般是不会独立出现的,它们总是以成对样例的内积形式出现,而用对偶形式表示学习器的优势在为在该表示中可调参数的个数不依赖输入属性的个数,通过使用恰当的核函数来替代内积,可以隐式得将非线性的训练数据映射到高维空间,而不增加可调参数的个数(当然,前提是核函数能够计算对应着两个输入特征向量的内积)。
- 首先使用一个非线性映射将数据变换到一个特征空间F,
- 然后在特征空间使用线性学习器分类。
2.2.1、如何处理非线性数据
在2.1节中我们介绍了线性情况下的支持向量机,它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过,由于是线性方法,所以对非线性的数据就没有办法处理了。举个例子来说,则是如下图所示的两类数据,分别分布为两个圆圈的形状,这样的数据本身就是线性不可分的,你准备如何把这两类数据分开呢(下文将会有一个相应的三维空间图)?
上图所述的这个数据集,就是用两个半径不同的圆圈加上了少量的噪音生成得到的,所以,一个理想的分界应该是一个“圆圈”而不是一条线(超平面)。如果用 X1 和 X2 来表示这个二维平面的两个坐标的话,我们知道一条二次曲线(圆圈是二次曲线的一种特殊情况)的方程可以写作这样的形式:
注意上面的形式,如果我们构造另外一个五维的空间,其中五个坐标的值分别为 Z1=X1 , Z2=X21 , Z3=X2 , Z4=X22 , Z5=X1X2 ,那么显然,上面的方程在新的坐标系下可以写作:
关于新的坐标 Z ,这正是一个 hyper plane 的方程!也就是说,如果我们做一个映射 ϕ:R2→R5 ,将 X 按照上面的规则映射为 Z ,那么在新的空间中原来的数据将变成线性可分的,从而使用之前我们推导的线性分类算法就可以进行处理了。这正是 Kernel 方法处理非线性问题的基本思想。
2.2.2、特征空间的隐式映射:核函数
再进一步描述 Kernel 的细节之前,不妨再来看看这个例子映射过后的直观例子。当然,你我可能无法把 5 维空间画出来,不过由于我这里生成数据的时候就是用了特殊的情形,具体来说,我这里的超平面实际的方程是这个样子(圆心在 X2 轴上的一个正圆):
因此我只需要把它映射到 Z1=X21 , Z2=X22 , Z3=X2 这样一个三维空间中即可,下图即是映射之后的结果,将坐标轴经过适当的旋转,就可以很明显地看出,数据是可以通过一个平面来分开的:
现在让我们再回到 SVM 的情形,假设原始的数据时非线性的,我们通过一个映射 ϕ(⋅) 将其映射到一个高维空间中,数据变得线性可分了,这个时候,我们就可以使用原来的推导来进行计算,只是所有的推导现在是在新的空间,而不是原始空间中进行。当然,推导过程也并不是可以简单地直接类比的,例如,原本我们要求超平面的法向量 w ,但是如果映射之后得到的新空间的维度是无穷维的(确实会出现这样的情况,比如后面会提到的 高斯核Gaussian Kernel ),要表示一个无穷维的向量描述起来就比较麻烦。于是我们不妨先忽略过这些细节,直接从最终的结论来分析,回忆一下,我们上一次2.1节中得到的最终的分类函数是这样的:
现在则是在映射过后的空间,即:
而其中的 α 也是通过求解如下 dual 问题而得到的:
这样一来问题就解决了吗?似乎是的:拿到非线性数据,就找一个映射
,然后一股脑把原来的数据映射到新空间中,再做线性 SVM 即可。不过事实上没有这么简单!其实刚才的方法稍想一下就会发现有问题:在最初的例子里,我们对一个二维空间做映射,选择的新空间是原始空间的所有一阶和二阶的组合,得到了五个维度;如果原始空间是三维,那么我们会得到 19 维的新空间,这个数目是呈爆炸性增长的,这给
的计算带来了非常大的困难,而且如果遇到无穷维的情况,就根本无从计算了。所以就需要 Kernel 出马了。
不妨还是从最开始的简单例子出发,设两个向量
和
,而
即是到前面2.2.1节说的五维空间的映射,因此映射过后的内积为:
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/27E8.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03D5.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03D5.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/27E9.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B7.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B7.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B7.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B7.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B7.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B7.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
另外,我们又注意到:
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size1/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/27E8.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/27E9.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size1/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B7.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B7.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B7.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B7.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B7.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B7.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
二者有很多相似的地方,实际上,我们只要把某几个维度线性缩放一下,然后再加上一个常数维度,具体来说,上面这个式子的计算结果实际上和映射
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03C6.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0058.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0058.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/221A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0058.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0058.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/221A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0058.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0058.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/221A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0058.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0058.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0054.png)
之后的内积
的结果是相等的(自己验算一下)。区别在于什么地方呢?
- 一个是映射到高维空间中,然后再根据内积的公式进行计算;
- 而另一个则直接在原来的低维空间中进行计算,而不需要显式地写出映射后的结果。
回忆刚才提到的映射的维度爆炸,在前一种方法已经无法计算的情况下,后一种方法却依旧能从容处理,甚至是无穷维度的情况也没有问题。
我们把这里的计算两个向量在隐式映射过后的空间中的内积的函数叫做核函数 (Kernel Function) ,例如,在刚才的例子中,我们的核函数为:
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BA.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size1/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/27E8.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/27E9.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size1/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
核函数能简化映射空间中的内积运算——刚好“碰巧”的是,在我们的 SVM 里需要计算的地方数据向量总是以内积的形式出现的。对比刚才我们上面写出来的式子,现在我们的分类函数为:
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BA.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0062.png)
其中
由如下 dual 问题计算而得:
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/006D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0061.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0073.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0074.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2212.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BA.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2265.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0030.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2026.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0030.png)
这样一来计算的问题就算解决了,避开了直接在高维空间中进行计算,而结果却是等价的!当然,因为我们这里的例子非常简单,所以我可以手工构造出对应于
的核函数出来,如果对于任意一个映射,想要构造出对应的核函数就很困难了。
最理想的情况下,我们希望知道数据的具体形状和分布,从而得到一个刚好可以将数据映射成线性可分的
,然后通过这个
得出对应的
进行内积计算。然而,第二步通常是非常困难甚至完全没法做的。不过,由于第一步也是几乎无法做到,因为对于任意的数据分析其形状找到合适的映射本身就不是什么容易的事情,所以,人们通常都是“胡乱”选择映射的,所以,根本没有必要精确地找出对应于映射的那个核函数,而只需要“胡乱”选择一个核函数即可——我们知道它对应了某个映射,虽然我们不知道这个映射具体是什么。由于我们的计算只需要核函数即可,所以我们也并不关心也没有必要求出所对应的映射的具体形式。
当然,也并不是任意的二元函数都可以作为核函数,所以除非某些特殊的应用中可能会构造一些特殊的核(例如用于文本分析的文本核,注意其实使用了 Kernel 进行计算之后,其实完全可以去掉原始空间是一个向量空间的假设了,只要核函数支持,原始数据可以是任意的“对象”——比如文本字符串),通常人们会从一些常用的核函数中选择(根据问题和数据的不同,选择不同的参数,实际上就是得到了不同的核函数),例如:
- 多项式核
,显然刚才我们举的例子是这里多项式核的一个特例(
)。虽然比较麻烦,而且没有必要,不过这个核所对应的映射实际上是可以写出来的,该空间的维度是
,其中
是原始空间的维度。
- 高斯核
,这个核就是最开始提到过的会将原始空间映射为无穷维空间的那个家伙。不过,如果
选得很大的话,高次特征上的权重实际上衰减得非常快,所以实际上(数值上近似一下)相当于一个低维的子空间;反过来,如果
选得很小,则可以将任意的数据映射为线性可分——当然,这并不一定是好事,因为随之而来的可能是非常严重的过拟合问题。不过,总的来说,通过调控参数
,高斯核实际上具有相当高的灵活性,也是使用最广泛的核函数之一。
- 线性核
,这实际上就是原始空间中的内积。这个核存在的主要目的是使得“映射后空间中的问题”和“映射前空间中的问题”两者在形式上统一起来了(意思是说,咱们有的时候,写代码,或写公式的时候,只要写个模板或通用表达式,然后再代入不同的核,便可以了,于此,便在形式上统一了起来,不用再分别写一个线性的,和一个非线性的)。
2.3、使用松弛变量处理 outliers 方法
在本文第一节最开始讨论支持向量机的时候,我们就假定,数据是线性可分的,亦即我们可以找到一个可行的超平面将数据完全分开。后来为了处理非线性数据,在上文2.2节使用 Kernel 方法对原来的线性 SVM 进行了推广,使得非线性的的情况也能处理。虽然通过映射
将原始数据映射到高维空间之后,能够线性分隔的概率大大增加,但是对于某些情况还是很难处理。例如可能并不是因为数据本身是非线性结构的,而只是因为数据有噪音。对于这种偏离正常位置很远的数据点,我们称之为 outlier ,在我们原来的 SVM 模型里,outlier 的存在有可能造成很大的影响,因为超平面本身就是只有少数几个 support vector 组成的,如果这些 support vector 里又存在 outlier 的话,其影响就很大了。例如下图:
用黑圈圈起来的那个蓝点是一个 outlier ,它偏离了自己原本所应该在的那个半空间,如果直接忽略掉它的话,原来的分隔超平面还是挺好的,但是由于这个 outlier 的出现,导致分隔超平面不得不被挤歪了,变成途中黑色虚线所示(这只是一个示意图,并没有严格计算精确坐标),同时 margin 也相应变小了。当然,更严重的情况是,如果这个 outlier 再往右上移动一些距离的话,我们将无法构造出能将数据分开的超平面来。
为了处理这种情况,SVM 允许数据点在一定程度上偏离一下超平面。例如上图中,黑色实线所对应的距离,就是该 outlier 偏离的距离,如果把它移动回来,就刚好落在原来的超平面上,而不会使得超平面发生变形了。具体来说,原来的约束条件
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0077.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0054.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0062.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2265.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2026.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/006E.png)
现在变成
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0077.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0054.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0062.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2265.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2212.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2026.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/006E.png)
其中
称为松弛变量 (slack variable) ,对应数据点
允许偏离的 functional margin 的量。当然,如果我们运行
任意大的话,那任意的超平面都是符合条件的了。所以,我们在原来的目标函数后面加上一项,使得这些
的总和也要最小:
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/006D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2225.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0077.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2225.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0043.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
其中
是一个参数,用于控制目标函数中两项(“寻找 margin 最大的超平面”和“保证数据点偏差量最小”)之间的权重。注意,其中
是需要优化的变量(之一),而
是一个事先确定好的常量。完整地写出来是这个样子:
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/006D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0073.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0074.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2225.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0077.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2225.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0043.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0077.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0054.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0062.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2265.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2212.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2026.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2265.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0030.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2026.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/006E.png)
用之前的方法将限制加入到目标函数中,得到如下问题:
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Caligraphic/Regular/141/004C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0077.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0062.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0072.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2225.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0077.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2225.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0043.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2212.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0077.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0054.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0062.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2212.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002B.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/0029.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2212.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0072.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
分析方法和前面一样,转换为另一个问题之后,我们先让
针对
、
和
最小化:
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2202.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Caligraphic/Regular/141/004C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2202.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0077.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0030.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2202.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Caligraphic/Regular/141/004C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2202.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0062.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0030.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2202.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Caligraphic/Regular/141/004C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2202.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BE.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0030.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/21D2.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0077.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/21D2.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0030.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/21D2.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0043.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2212.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2212.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0072.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0030.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2026.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/006E.png)
将
带回
并化简,得到和原来一样的目标函数:
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/006D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0061.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2212.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/27E8.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/27E9.png)
不过,由于我们得到
,而又有
(作为 Lagrange multiplier 的条件),因此有
,所以整个 dual 问题现在写作:
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/006D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0061.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0073.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0074.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2212.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0032.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/27E8.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/27E9.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0030.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2264.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2264.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0043.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/2026.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Size2/Regular/141/2211.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/100/0031.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006E.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0079.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/003D.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0030.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03B1.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0043.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/27E8.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/27E9.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/03BA.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0028.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/0069.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/002C.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/141/0078.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Math/Italic/100/006A.png)
![](http://blog.pluskid.org/MathJax/fonts/HTML-CSS/TeX/png/Main/Regular/141/0029.png)
理解到这第二层,已经能满足绝大部分人一窥SVM原理的好奇心,然对于那些想在证明层面理解SVM的则还很不够,但进入第三层理解境界之前,你必须要有比较好的数理基础和逻辑证明能力,不然你会跟我一样,吃不少苦头的。
第三层、证明SVM
说实话,凡是涉及到要证明的东西.理论,便一般不是怎么好惹的东西。绝大部分时候,看懂一个东西不难,但证明一个东西则需要点数学功底,进一步,证明一个东西也不是特别难,难的是从零开始发明创造这个东西的时候,则显艰难(因为任何时代,大部分人的研究所得都不过是基于前人的研究成果,前人所做的是开创性工作,而这往往是最艰难最有价值的,他们被称为真正的先驱。牛顿也曾说过,他不过是站在巨人的肩上。你,我则更是如此)。
OK,以下内容基本属于自己在看支持向量机导论一书的理解,包括自己对一些证明的理解,可看做是读书笔记。
3.1、感知机算法
.......
预告:
非常感谢pluskid的文章,让我有机会在其基础上总结、深入,同时,本文正在不断迭代,增补中,预计6月底基本成型。请待后续更新、修补,谢谢。二零一二年六月四日凌晨一点。
updated:
最近一直在拿着支持向量机导论一书通读,的确发现那些数学定理.证明.推论有着不少障碍,便三番五次的向一同学白石请教,征得同学白石同意之后,已决定在京开班讲课(同学白石主讲,本人主持),取名为:机器学习实验班:http://weibo.com/1580904460/ylKy5t2Sc,即刻起开始报名,发姓名 + 学校专业(or 公司职位) + 手机号码至邮箱:zhoulei0907@yahoo.cn。
机器学习实验班第1期第1讲,时间:本周六6月16日上午10-1点;地点:北理工(具体教室会在本周五下班之前通过邮件回复给每一个报名的朋友);内容:SVM介绍&支持向量机导论第二章、线性学习器;主讲人:白石;主持人:July。请所有已经邮件报名的朋友准时参加(带上支持向量机导论),并留意这两天的邮件,谢谢。