【机器学习算法2】——SVM

1、SVM概述

SVM的发展过程：
1963年，Vapnik在解决模式识别问题时提出了支持向量方
法。起决定性作用的样本为支持向量；
 1971年，Kimeldorf构造基于支持向量构建核空间的方法；
 1992年，Vapnik等人开始对支持向量机进行研究；
 1995年，Vapnik等人正式提出统计学习理论。
通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
常用的机器学习方法比较。
 概率分布的方法（ 经典的方法）
Bayes方法, GMMs 用于复杂分布建模
 决策树的方法（ C4.5）
属性具有明确含义时使用，一种经典的方法
 近邻分类
简单的方法，如果样本有代表性，维数不高时好用
 支撑向量机（SVM）
高维空间的小样本学习、结构风险最小化
 Boosting算法
大量训练样本下可以取得好的效果，速度很快
 人工神经网络ANN
非线性方法，大量训练样本下可以取得好的效果，速度较慢

2、结构风险最小化(Structural Risk Minimization)
所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制。
统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序