SVM详解（二）

1.SVM模型

——基本模型是特征空间上的间隔最大的线性分类器，使用核技巧使它成为非线性分类器

——SVM学习策略是间隔最大化，可形式化成一个求解凸二次规划的问题

——SVM等价于正则化的合页损失函数（hinge loss）的最小化问题。

2.SVM由简至繁的模型

线性可分支持向量机（硬间隔支持向量机）——>线性支持向量机（软间隔支持向量机）——>非线性支持向量机（使用核技巧和软间隔最大化）

3.输入空间和特征空间

假设输入空间是欧式空间或者离散集合，特征空间是欧式空间或者希尔伯特空间

线性可分支持向量机（硬）和线性支持向量 （软）假设这两个空间元素意义对应，而非线性支持向量机（使用核技巧）利用一个非线性映射将输入从输入空间转换到特征空间

SVM的学习是在特征空间上进行的。

4.分离超平面

wTx+b=0将训练集实例分到不同的类（正例和负例）

如果训练数据集是线性可分时，存在无数多个分离超平面

感知机是利用误分类最小的策略，求得分离超平面，有无穷多个解；线性可分支持向量机利用间隔最大化，这时解是唯一的。

5.函数间隔和几何间隔

一般情况下|wx+b|能够相对地表示点x距离超平面的远近，而wx+b的符号和类标记y的符号是否一致能够表示分类是否正确。所以y（wx+b）来表示分类的正确性和确信度。这就是函数间隔

但是要让函数间隔最大化还不够，只要成比例的改变w和b，比如变成2w和2b，超平面并没有改变，但