SVM算法理解以及编程练习

支持向量机

支持向量机就算法作为机器学习的经典算法，从被提出后快速发展，在很多场景和领域都取得了非常好的效果，同时兼有速度块、支持数据量大等特点使其在工程实践中得到广泛应用。

首先我们先来看一个3维的平面方程：Ax+By+Cz+D=0
这就是我们中学所学的，从这个方程我们可以推导出二维空间的一条直线：Ax+By+D=0

那么，依次类推，更高维的空间叫做一个超平面。
二维空间的几何表示：

SVM的目标是找到一个超平面，这个超平面能够很好的解决二分类问题，所以先找到各个分类的样本点离这个超平面最近的点，使得这个点到超平面的距离最大化，最近的点就是虚线所画的。由以上超平面公式计算得出大于1的就属于打叉分类，如果小于0的属于圆圈分类。

如何找到超平面

在超平面wx+b=0确定的情况下，|wx+b|能够表示点x到距离超平面的远近，而通过观察wx+b的符号与类标记y的符号是否一致可判断分类是否正确，所以，可以用(y(w*x+b))的正负性来判定或表示分类的正确性。于此，我们便引出了函数间隔（functional margin）的概念。定义函数间隔（用γ表示)为：

但是这个函数间隔有个问题，就是我成倍的增加w和b的值，则函数值也会跟着成倍增加，但这个超平面没有改变。所以有函数间隔还不够，需要一个几何间隔。

几何间隔
我们把w做一个约束条件，假定对于一个点 x ，令其垂直投影到超平面上的对应点为 x0 ，w 是垂直于超平面的一个向量，为样本x到超平面的距离，如下图所示：

最大间隔分类器

对一个数据点进行分类，当超平面离数据点的“间隔”越大，分类的确信度（confidence）也越大。所以，为了使得分类的确信度尽量高，需要让所选择的超平面能够最大化这个“间隔”值。这个间隔就是下图中的Gap的一半。

代码练习理解

代码1

import numpy as np
import matplotlib.pyplot as plt

from sklearn import datasets
from sklearn.preprocessing import StandardScaler
from sklearn.svm import LinearSVC

iris = datasets.load_iris()

X = iris.data
y = iris.target

X = X [y<2,:2] #只取y<2的类别，也就是0 1 并且只取前两个特征
y = y[y<2] # 只取y<2的类别

# 分别画出类别0和1的点
plt.scatter(X[y==0,0],X[y==0,1],color='red') 
plt.scatter(X[y==1,0],X[y==1,1],color='blue')
plt.show()

# 标准化
standardScaler = StandardScaler()

standardScaler.fit(X)