机器学习作业-支持向量机简介

目录

1.提出背景

2.算法思想

3.算法描述

a) Chunking算法

b) Qsuna算法

4.算法优越性讨论

a) 人工神经网络

b) 支持向量机

c) ANN的缺点

d) VM的优点

5.主要应用领域

1.提出背景

支持向量机SVM ( Support Vector Machines)是由Vanpik领导的AT&TBell实验室研究小组在1963年提出的一种新的非常有潜力的分类技术, SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。由于当时这些研究尚不十分完善,在解决模式识别问题中往往趋于保守,且数学上比较 艰涩,因此这些研究一直没有得到充的重视。直到90年代,一个较完善的理论体系—统计学习理论 ( StatisticalLearningTheory,简称SLT) 的实现和由于神经网络等较新兴的机器学习方法的研究遇到一些重要的困难,比如如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题等,使得SVM 迅速发展和完善,在解决小样本 、非线性及高维模式识别问题中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中,从此迅速的发展起来。

 

2.算法思想

支撑向量机主要采用了分解算法思想，它将QP问题分解为一系列规模较小的子问题，希望通过对子问题的迭代求解，得到QP问题的全局最优解。这样解决了存储空间受限的问题，另一方面，要使算法可行，还必须解决诸如分解策略，迭代算法的收敛性，收敛条件，优化时间，以及如何利用解的稀疏性来优化加快速度等问题。

SVM的关键在于核函数，这也是最喜人的地方。低维空间向量集通常难于划分，解决的方法是将它们映射到高维空间。但这个办法带来的困难就是计算 复杂度的增加，而核函数正好巧妙地解决了这个问题。也就是说，只要选用适当的核函数，我们就可以得到高维空间的分类函数。在SVM理论中，采用不同的核函 数将导致不同的SVM算法

3.算法描述

3.1 Chunking算法

Chunking算法是V.Va pnik等人提出的一种求解QP问题的算法。它可看成是一种不完全的分解算法。算法将原先的QP问题分解成一系列待优化的子问题。任何一个子问题都维护一个与其相关的变量的子集，在优化过程中保持其他的变量值不变。子问题维护所有上一步优化后得到的非零变量，及其它违反KKT条件最严重的M个变量。这样经过反复迭代优化，最终将得到QP问题的全局最优解。

算法描述

1.选择初始子问题，包括选择问题的规模nl，待优化的变量子集及每次添加进优化子集的违反KKT条件的变量数目M。

2.采 用一种QP优化器求解上述子问题，得到一个分类器。

3.用剩余训练样本测试上述分类器，采用KKT条件评价测试结果。如果所有变量都满足KKT条件，则结束训练;否则，选择违反KKT条件最剧烈的M个变量，并与上一步优化得到的非零值变量构成待优化子问题，重复第2步。

3.2 Osuna算法

199 7年 ，E dgarOs una[49.50]提出一个求解SVM中问题的分解算法，既是把一个大型QP问题分解成一个小型QP问题组成的序列，在上一步的QP子问题中至少加入一个违反KKT条件的点而构成下一步的QP子问题，每一步优化目标函数的值并始终保持满足约束条件，从而使这些QP子问题构成的序列收敛，直至最后所有的点都满足KKT条件，也即得到了原问题的解。

4.算法优越性讨论

本部分主要讨论了支持向量机与目前非常流行的人工神经网络相比，具有的优越性，仅供参考。

4.1 人工神经网络

神经网络是基于传统统计学的基础上的。传统统计学研究的内容是样本无穷大时的渐进理论，即当样本数据趋于无穷多时的统计性质,而实际问题中样本数据往往是有限的。因此，假设样本数据无穷多，并以此推导出的各种算法很难在样本数据有限时取得理想的应用效果。

4.2  支持向量机

支持向量机是基于统计学理论的基础上的,可以克服神经网络难以避免的问题。通过支持向量机在逼近能力方面与BP网络仿真结果的比较表明,支持向量机具有较强的逼近能力和泛化能力。

4.3 人工神经网络存在的一些缺陷

人工神经网络是目前研究较多的交叉学科，由于通过选择适当的隐单元数和网络层次,前馈网络能以任意精度逼近非线性函数(Funahashi,1989),因此神经网络技术被广泛应用到工业过程的建模与控制中,并取得了巨大成功。尽管如此,神经网络仍存在一些缺陷:

(1)网络结构需要事先指定或应用启发算法在训练过程中修正,这些启发算法难以保证网络结构的最优化；

(2)网络权系数的调整方法存在局限性；

(3)神经网络易陷入局部最优,有些甚至无法得到最优解；

(4)过分依赖学习样本,即模型性能的优劣过分依赖于模型训练过程中样本数据,而大多数情况下,样本数据是有限的。除次,许多实际问题中的输入空间是高维的,样本数据仅是输入空间中的稀疏分布,即使能得到高质量的训练数据,数据量必然很大。但是样本数要是很多的话,必然使训练时间大大增加；

(5)目前尚无一种理论能定量的分析神经网络的训练过程的收敛速度,及收敛速度的决定条件,并对其加以控制；

(6)神经网络的优化目标是基于经验的风险最小化,这就不能保证网络的泛化能力。尽管存在以上问题,神经网络仍然取得了很多成功应用,其原因在于,神经网络的设计与设计者有很大的关系。设计者若在网络设计过程中有效的利用了自己的经验知识和先验知识,可能会得到较理想的网络结构。因此,神经网络系统的优劣是因人而异的。

4.4 支持向量机的新特点

支持向量机是以统计学理论为基础的,因而具有严格的理论和数学基础,可以不象神经网络的结构设计需要依赖于设计者的经验知识和先验知识。支持向量机与神经网络的学习方法相比,支持向量机具有以下特点:

(1)支持向量机是基于结构风险最小化(SRM,structuralriskminimization)原则,保证学习机器具有良好的泛化能力；

(2)解决了算法复杂度与输入向量密切相关的问题；

(3)通过引用核函数,将输入空间中的非线性问题映射到高维特征空间中在高维空间中构造线性函数判别；

(4)支持向量机是以统计学理论为基础的,与传统统计学习理论不同。它主要是针对小样本情况,且最优解是基于有限的样本信息,而不是样本数趋于无穷大时的最优解；

(5)算法可最终转化为凸优化问题,因而可保证算法的全局最优性,避免了神经网络无法解决的局部最小问题；

(6)支持向量机有严格的理论和数学基础,避免了神经网络实现中的经验成分。

5.主要应用领域

现在已经在许多领域，如：生物信息 学，文本和手写识别等，都取得了成功的应用。

参考：
http://zhidao.baidu.com/question/6482089.html
http://blog.donews.com/keyandgo/archive/2006/04/21/839461.aspx