基于支持向量机的分类预测

基于支持向量机的分类预测

1.如何看待支持向量机

支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。

2.线性SVM

SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。如下图所示，$w^{T}x+b=0$ 即为分离超平面，对于线性可分的数据集来说，这样的超平面有无穷多个（即感知机），但是几何间隔最大的分离超平面却是唯一的。
图1
任意超平面可以用下面这个线性方程来描述：$w^{T}x+b=0$ 。而n维点$x=({\mathtt{x}}_1,x_2,x_3,...x_n)$到直线$Ax+By+C=0$的距离公式为：
$$\frac{|w^{T}x+b|}{||w||}$$
其中：$||w||=\sqrt{w_1^2+...w_n^2}$。根据支持向量的定义，支持向量到超平面的距离为d，其他点到超平面的距离大于d。于是有：
{ ∣ w T x + b ∣ ∣ ∣ w ∣ ∣ ≥ 1 , y = 1 ; ∣ w T x + b ∣ ∣ ∣ w ∣ ∣ ≤ 1 , y = − 1 } \lbrace{\frac{|w^Tx+b|}{||w||}\geq1,y=1};{\frac{|w^Tx+b|}{||w||}\leq1,y=-1}\rbrace {∣∣w∣∣∣wTx+b∣​≥1,y=1;∣∣w∣∣∣wTx+b∣​≤1,y=−1}
最大化支持向量到超平面的距离为：
$$max2\ast \frac{y(w^{T}x+b)}{||w||}$$
带入一个支持向量，可以得到：
$$max\ast \frac{2}{||w||}$$
所以得到的最优化问题是：
$$min\frac{1}{2}||w|{|}^{2}s.t.y_i(w^T{x}_i+b)\ge 1$$
有时，对于某些点$(x(i),y(i))$，分类器可能会做出错误操作。尽管在开发实际使用的SVM模型时，会设计冗余，避免过拟合，但仍然需要想办法将误差控制在一个较小的范围。可以通过在模型中增加惩罚机制（用$c$表示）解决这个问题。
$$mi{n}_{w,b}(\frac{1}{2})w^{T}w+c\sum _{i=1}^m{E}_i$$
$$y^i(w^T{x}^{(i)}+b)\ge 1-E_i$$

设SVM输出结果为E，则上图中出现的E=0则没有惩罚。
若果c非常大，则模型分类更加精准，但支持向量到超平面距离小，容易出现过拟合。
若c=1，则支持向量到超平面距离最大化，尽管会出现一些分类误差，但这是一种较好的方案。

3.约束凸优化问题

构造一个约束独立性方程：
$$E_i\ge 1-t_i;t_i\le 1$$
$$E_i\le 0;t_i\ge 1$$
$$当1=w^T{x}^{(i)}+b$$
上式表示，如果点远离直线，则误差将为零，否则误差将为$1-t(i)$。
我们需要最小化的是：
$$loss=mi{n}_{w,b}(\frac{1}{2})w^{T}w+c\sum _{i=1}^{m}max(0,1-t_i)$$
$$where{t}_i=y^i(w^T{x}^{(i)}+b)$$
减少损失的方法，即在SVM上应用随机梯度下降法SGD：

gw,gb=0,0
for j in range(batch_start, batch_start+batch_size):
  if j<samples:
  i=ids[j]
  ti=y[i]*(np.dot(w,x[i].T)+bias)
  if ti>1:
  gw+=0
  gb+=0
  else:
  gw+=c*y[i]*x[i]
  gb+=c*y[i]
w=w-n*(w+gw)  
bias=bias+n*gw

4.非线性分类

使用SVM对非线性数据进行分类，需要将数据投影到更高的维度，即通过增加低维数据的特征向量将其转换为高维数据。增加数据特征向量需要消耗巨大的计算资源，这里采用核函数。而这种思路最难的点，是为你自己的模型选择一个合适的核函数。这里推荐一种自动调参方法GridSearch。将多种核函数（线性、RBF、多项式、sigmoid等）等标号，依次调用，找到一个最合适自己模型的。