机器学习（四）：SVM 支持向量机介绍

机器学习系列主要为 我在国科大研一期间，在《机器学习方法与应用》课程中所学知识概述，以及课后补充学习的内容。

----------------------------------------------------------------------------------------------------------------------------------
支持向量机（Support Vector Machine）：通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。起决定性作用的样本为支持向量，距离决策边界最近。不仅具有坚实的统计学理论基础，还可以很好地应用于高维数据、避免维度灾难问题。它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并且能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无措的识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。

最大边缘超平面：超平面可将两类数据分开，每个超平面都对应着一对平行的超平面，超平面之间的间隔称为超平面的边缘。边缘最大的超平面称为最大边缘超平面。决策边缘越小，决策边界任何轻微的扰动，都可能对分类结果产生较大的影响。具有较大边缘的决策边界比那些具有较小边缘的决策边界具有更好的泛化误差。

线性支持向量机：根据