论机器学习与支持向量机结课论文

论机器学习与支持向量机

摘要：机器学习是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，它是人工智能的核心，是使计算机具有智能的根本途径。支持向量机是从统计学发展而来的一种新型的机器学习方法，在解决小样本、非线性和高维的机器学习问题中表现出了许多特有的优势。
关键词：机器学习；支持向量机；人脸识别

引言
1.1机器学习的研究背景
什么是机器学习？迄今尚没有统一的定义，由其名字可理解为机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍微严格的提法是机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。这里所说的“机器”，指的就是计算机，现在是电子计算机，以后还可能是种子计算机、光子计算机或神经计算机等等。
机器的能力是否能超过人的，很多持否定意见的人的一个主要论据是：机器是人造的，其性能和动作完全是由设计者规定的，因此无论如何其能力也不会超过设计者本人。这种意见对不具备学习能力的机器来说的确是对的，可是对具备学习能力的机器就值得考虑了，因为这种机器的能力在应用中不断地提高，过一段时间之后，设计者本人也不知它的能力到了何种水平。
1.2支持向量机的研究背景
支持向量机(Support Vector Machine，SVM)方法是在统计学习理论基础上发展而来的一种机器学习方法，SVM在使用结构风险最小化原则替代经验风险最小化原则的基础上，又结合了统计学习、机器学习和神经网络等方面的技术，在解决小样本、非线性和高维的机器学习问题中表现出了许多特有的优势。它一方面可以克服神经网络等方法所固有的过学习和欠学习问题，另一方面又有很强的非线性分类能力，通过引入核函数，将输入空间的样本映射到高维特征空间，输入空间的线性不可分问题就转化为特征空间的线性可分问题。支持向量机被看作是对传统分类器的一个好的发展，并被证明可在保证最小化结构风险的同时，有效地提高算法的推广能力。随着计算机技术的蓬勃发展以及人们在各个领域对模式识别技术的需求与应用，计算机模式识别技术也有了很大的发展。模式识别就是设计一个能够对未知数据进行自动分类的方法，常用模式识别方法有统计识别方法、句法结构识别方法、模糊理论识别方法、神经网络识别方法、模板匹配识别方法和支持向量机的识别方法等。其中，基于支持向量机的模式识别方法是目前最为有效的模式识别方法之一。
2 机器学习的结构分类
2.1机器学习定义及发展
机器学习(Machine Learning)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。
机器学习在人工智能的研究中具有十分重要的地位。一个不具有学习能力的智能系统难以称得上是一个真正的智能系统，但是以往的智能系统都普遍缺少学习的能力。例如，它们遇到错误时不能自我校正；不会通过经验改善自身的性能；不会自动获取和发现所需要的知识。它们的推理仅限于演绎而缺少归纳，因此至多只能够证明已存在事实、定理，而不能发现新的定理、定律和规则等。随着人工智能的深入发展，这些局限性表现得愈加突出。正是在这种情形下，机器学习逐渐成为人工智能研究的核心之一。它的应用已遍及人工智能的各个分支，如专家系统、自动推理、自然语言理解、模式识别、计算机视觉、智能机器人等领域。其中尤其典型的是专家系统中的知识获取瓶颈问题，人们一直在努力试图采用机器学习的方法加以克服。
机器学习的研究是根据生理学、认知科学等对人类学习机理的了解，建立人类学习过程的计算模型或认识模型，发展各种学习理论和学习方法，研究通用的学习算法并进行理论上的分析，建立面向任务的具有特定应用的学习系统。这些研究目标相互影响相互促进。
2.2机器学习系统的基本结构
机器学习系统的基本结构如图1.1所示，环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。在具体的应用中，环境，知识库和执行部分决定了具体的工作内容，学习部分所需要解决的问题完全由上述3部分确定。下面我们分别叙述这3部分对设计学习系统的影响。

图 1 学习系统的基本结构
影响学习系统设计的最重要的因素是环境向系统提供的信息。或者更具体地说是信息的质量。知识库里存放的是指导执行部分动作的一般原则，但环境向学习系统提供的信息却是各种各样的。如果信息的质量比较高，与一般原则的差别比较小，则学习部分比较容易处理。如果向学习系统提供的是杂乱无章的指导执行具体动作的具体信息，则学习系统需要在获得足够数据之后，删除不必要的细节，进行总结推广，形成指导动作的一般原则，放入知识库，这样学习部分的任务就比较繁重，设计起来也较为困难。
因为学习系统获得的信息往往是不完全的，所以学习系统所进行的推理并不完全是可靠的，它总结出来的规则可能正确，也可能不正确。这要通过执行效果加以检验。正确的规则能使系统的效能提高，应予保留；不正确的规则应予修改或从数据库中删除。
知识库是影响学习系统设计的第二个因素。知识的表示有多种形式，比如特征向量、一阶逻辑语句、产生式规则、语义网络和框架等等。这些表示方式各有其特点，在选择表示方式时要兼顾以下4个方面：
(1)表达能力强。(2)易于推理。(3)容易修改知识库。(4)知识表示易于扩展。
对于知识库最后需要说明的一个问题是学习系统不能在全然没有任何知识的情况下凭空获取知识，每一个学习系统都要求具有某些知识理解环境提供的信息，分析比较，做出假设，检验并修改这些假设。因此，更确切地说，学习系统是对现有知识的扩展和改进。
执行部分是整个学习系统的核心，因为执行部分的动作就是学习部分力求改进的动作。同执行部分有关的问题有3个：复杂性、反馈和透明性。
2.3机器学习的分类
1.基于所获取知识的表示形式分类
　　学习系统获取的知识可能有：行为规则、物理对象的描述、问题求解策略、各种分类及其它用于任务实现的知识类型。对于学习中获取的知识，主要有以下一些表示形式：
1）代数表达式参数：学习的目标是调节一个固定函数形式的代数表达式参数或系数来达到一个理想的性能。
2）决策树：用决策树来划分物体的类属，树中每一内部节点对应一个物体属性，而每一边对应于这些属性的可选值，树的叶节点则对应于物体的每个基本分类。
3）形式文法：在识别一个特定语言的学习中，通过对该语言的一系列表达式进行归纳，形成该语言的形式文法。
4）产生式规则：产生式规则表示为条件—动作对，已被极为广泛地使用。学习系统中的学习行为主要是：生成、泛化、特化或合成产生式规则。
5）形式逻辑表达式：形式逻辑表达式的基本成分是命题、谓词、变量、约束变量范围的语句及嵌入的逻辑表达式。
6）图和网络：有的系统采用图匹配和图转换方案来有效地比较和索引知识。
7）神经网络：这主要用在联接学习中，学习所获取的知识，最后归纳为一个神经网络。
2.按应用领域分类
　　最主要的应用领域有：专家系统、认知模拟、规划和问题求解、数据挖掘、网络信息服务、图象识别、故障诊断、自然语言理解、机器人和博弈等领域。从机器学习的执行部分所反映的任务类型上看，目前大部分的应用研究领域基本上集中于以下两个范畴：分类和问题求解。
（1）分类任务要求系统依据已知的分类知识对输入的未知模式（该模式的描述）作分析，以确定输入模式的类属，相应的学习目标就是学习用于分类的准则（如分类规则）。
（2）问题求解任务要求对于给定的目标状态，寻找一个将当前状态转换为目标状态的动作序列；机器学习在这一领域的研究工作大部分集中于通过学习来获取能提高问题求解效率的知识（如搜索控制知识，启发式知识等）。
2.4目前研究领域
目前，机器学习领域的研究工作主要围绕以下三个方面进行：
1）面向任务的研究。研究和分析改进一组预定任务的执行性能的学习系统。
2）认知模型。研究人类学习过程并进行计算机模拟。
3）理论分析。从理论上探索各种可能的学习方法和独立于应用领域的算法，机器学习是继专家系统之后人工智能应用的又一重要研究领域，也是人工智能和神经计算的核心研究课题之一。现有的计算机系统和人工智能系统没有什么学习能力，至多也只有非常有限的学习能力，因而不能满足科技和生产提出的新要求。对机器学习的讨论和机器学习研究的进展，必将促使人工智能和整个科学技术的进一步发展。
3.支持向量机
支持向量机是以结构风险最小化理论和维理论为理论基础，以求解二次规划问题为主要手段，以在高维空间中求解最优分类超平面为主要目标，以求解支持向量为结果的一种新的机器学习方法。目前，支持向量机在模式识别、图形分割等领域已经进入了实用阶段。
人脸识别是生物特征识别的一个重要方面，在安全验证系统、医学、档案管理系统、人机交互系统、视频会议以及图像检索等领域具有很大的应用前景，比起指纹识别、视网膜识别、虹膜识别等技术来说，人脸识别相对更加直接，友好，使用者更容易接受。事实上，不管是对人也好，还是对于计算机也好，要实现对人的检测识别，最优先考虑、最直接、也最有意义的特征就是人脸了，而且如果做更深入的分析，还可以从人脸获取更多的信息，如表情，姿态，年龄等。本章将支持向量机多类分类算法应用于人脸识别中，并通过仿真实验证明算法的有效性。
3.1人脸识别的理论基础
一个基本的人脸检测识别系统应该包括以下几个方面：人脸检测，人脸表示和人脸鉴别，其中后两步也就是通常所说的人脸识别。人脸识别的主要步骤大致分为图像获取、特征提取和人脸识别几个部分，具体流程如图2所示：

图2 人脸识别系统示意图
图像获取是人脸识别的第一步，它是指从不同条件下获取的图像中，根据一定的规则和先验知识，利用选择的特征进行检测。先确定有无人脸，若检测到有人脸存在，则对人脸进行定位并获取其尺度姿态等信息，将图像分割成人脸区域和非人脸区域，这一步预处理的工作直接影响着后面的特征提取和识别工作，所以是极其重要的。
特征提取是指采取某种表示方式表征检测出的人脸和数据库中的人脸，也可以把它看作一个人脸表示的过程。这些特征可以是较直观的人脸器官的几何特征，如眼，耳，口，鼻的位置，形状，距离等，也可以是比较抽象的代数特征，如K-L变换所得的主成分特征，奇异值分解得到的奇异值特征等，还可以是模板特征，颜色特征，纹理特征等[25]。
人脸识别这一步的主要工作是把待识别人脸数据和数据库中的已知人脸数据进行匹配，以得到相关信息，实际上可以把人脸识别看作是一个分类过程，关键在于选择适当的分类器和分类策略，对表示人脸的特征进行分类。根据对人脸的不同的特征表示，分类器选择也不同，可以是传统的最小距离法、最近邻法等，也可以是较新的神经网络、支持向量机等，而且利用多特征和多分类器组合来改善识别效果也是近年来的一个研究方向。
近些年来，人脸识别研究和应用已相对比较成熟，提出了不少新的算法，目前主要有基于几何特征的方法、基于代数特征的方法、基于弹性模型的方法、基于神经网络方法和基于支持向量机的方法等，通常的实验结果表明支持向量机有较好的识别效率。

3.2基于PCA方法和SVM原理的人脸识别仿真
基于PCA（Principal Components Analysis，主成分分析方法）和SVM方法的人脸识别算法首先将实验图像进行预处理[26]，然后用PCA方法进行特征提取，最后，将得到的图像特征作为支持向量机的输入训练并测试分类器。选用第四章中介绍的决策树方法来构造分类器，对输入的图像进行训练和识别，具体实现步骤如下：
(1)图像获取。选取数据库中的200幅图像(前一百幅为人脸图像，后一百幅为非人脸图像)作为实验样本；
(2)预处理。由于本实验中选取的图像为小图像，故无需进行预处理；
(3)特征提取，计算预处理之后每幅图像的PCA特征。首先计算每幅人脸图像的协方差矩阵，然后计算每个协方差矩阵的特征值和特征向量，将特征向量矩阵的列向量按特征值降序排列，选取最大特征值对应的特征向量作为投影轴，求图像在该轴上的投影，作为训练和测试的样本输入值；
(4)训练分类器。将计算得到的图像特征作为支持向量机的输入，结合第四章提出的SVM两类分类算法训练初始支持向量机SVM；
(5)测试训练得到的支持向量机，通过这种传统的支持向量机两类分类算法，得到的实验结果表明，本算法具有一定的有效性。
4.参考文献
[1]邓乃扬，田英杰．数据挖掘中的新方法一一支持向量机[M]．科学出版社，2004
[2]张翔．支持向量机及其在医学图象分割中的应用ED]．华中科技大学，2004
[3]昕炜．支持向量机算法的研究及应用[D]．浙江大学，2003
[4]王莉，林锦国．支持向量机的发展与应用[J]．石油化工自动化，2006，(3)：34-38
[5]郑勇涛,刘玉树.支持向量机解决多分类问题研究[J]. 计算机工程与应用，2005，41(23)：187-190
[6]唐发明，王仲东，陈绵云．支持向量机多类分类算法研究[J]．控制与决策，2005，20(7)：746—749
[7]黄勇，郑春颖，宋忠虎．多类支持向量机算法综述[J]．计算机技术与自动化2005，24(4)：61-64