SVM--基本思想

本篇是SVM（support vector machine）系列的第一篇，主要讲述SVM的基本思想。

本文将围绕以下几个问题进行展开：

1. SVM的基本思想是什么、其优化目标怎样推演而出的

2. 软间隔SVM

3. 什么是支持向量（support vector）

SVM的基本思想

SVM本质上来说是一个线性二分类器（可以先对输入X进行非线性变换再送入SVM从而实现非线性分类）

对于一个分类器来说，最希望得到的便是该分类器能正确分类所有的样本（设定正样本y=1，负样本y=-1），即

也即希望找到一个由确定的超平面，使得所有正样本都位于该平面的上方(>0)、所有负样本都位于该平面的下方(<0)，假设这样的超平面存在的话，那么往往会有多个，如下图所示，

既