详解SVM模型

SVM 详解

首先SVM的来源于最早的线性分类器，所谓线性分类器，就是找出一个线性超平面将空间样本点分为两部分。

简单的线性分类器

如下图，

我们发现一个线性分类器将一个train data 上的样本空间分为两部分，有几户无数种这样的平面存在。我们需要求一个confidence最大的超平面，这样这个超平面的才能准确分类总体（或者说实际空间）

他的兄弟—–感知机

感知机算法
感知器是输入样本的线性二分类器，

$$f(x)=sign(w.x+b)$$
他的损失函数为

即所有错误分类点到超平面的距离之和

一般的，这样的感知机有无数个，这时候，感知器的置信度高低就会决定其对总体的估计能力了，所以，需要一种更优秀的线性分类器。
这时候支持向量机（另一种机，诞生啦！）

支持向量机

先看支持向量机的定义，
找到一个超平面将样本空间正确分类（机的概念来了），并且所有点到该平面的距离（集合距离）最大（这就是在说支持向量的意思）
表述成公式就是，
正确分类(无间隔考虑)

$$y_i(w.x_i+b)>0$$
间隔最大：

margin=maxw,byi(wi.xi+b)1||w||