支持向量机SVM学习笔记

SVM 核心思想

1.  Define an optimal hyperplane:maximize margin

2.  Extend the above definition for non-linearly separable problems:have a penalty term for misclassifications.

3.  Map data to high dimensional space where it is easier to classify with linear decision surfaces:reformulate problem so that data is mapped implicitly to this space.

一句话概括SVM：通过非线性映射将输入空间映射到高维空间，再构造一个最优的分类超平面，使得离分类超平面最近的异类样本之间具有最大的距离。

如何分类？

w为权重向量，b为常量

最大化Margin

将两类样本正确分开的超平面会有多个，其中与两类样本具有最大间隔Margin的超平面为最优超平面。

支持向量

离超平面最近的样本点决定最优超平面的位置，与远离最优超平面的样本点无关。

Optimization Problem