SVM算法（Support Vector Machine）

一、SVM

        支持向量机（support vector machines，SVM）是一种二分类模型，将实例的特征向量映射为空间中的一些点，SVM 的目的就是想要画出一条线，以 “最好地” 区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类。SVM 适合中小型数据样本、非线性、高维的分类问题。

        一个经久不衰的算法，深度学习出现之前，SVM 被认为机器学习中近十几年来最成功，表现最好的算法。高准确率，为避免过拟合提供了很好的理论保证，而且就算数据在原特征空间线性不可分，只要给个合适的核函数，它就能运行得很好。在动辄超高维的文本分类问题中特别受欢迎，可惜内存消耗大，难以解释，运行和调参也有些烦人，相比较随机森林刚好避开这些缺点，比较实用。

        在机器学习领域，支持向量机SVM(Support Vector Machine)是一个有监督的学习模型，通常用来进行模式识别、分类(异常值检测)以及回归分析。

二、特征和优缺点

1、特征：

（1）.SVM可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值。而其他分类方法均采用一种基于贪心学习的策略来搜索假设空间，这种方法一般只能获得局部最优解。

（2）.SVM通过最大化决策边界的边缘来实现控制模型的能力。尽管如此，用户必须提供其他参数，如使用核函数类型和引入松弛变量等。

（3）.SVM一般只能用在二类问题，对于多类问题效果不好。

2、优点：

（1）.可以解决高维问题，即大型特征空间；

（2）.解决小样本下机器学习问题；

（3）.能够处理非线性特征的相互作用；

（4）.无局部极小值问题；（相对于神经网络等算法）

（5）.无需依赖整个数据；

（6）.泛化能力比较强。

3、缺点：

（1）.当观测样本很多时，效率并不是很高；

（2）.对非线性问题没有通用解决方案，有时候很难找到一个合适的核函数；

（3）.对于核函数的高维映射解释力不强，尤其是径向基函数；

（4）.常规SVM只支持二分类；

（5）.对缺失数据敏感。

三、分类

        1、线性分类：

        如果需要分类的数据都是线性可分的，那么只需要一根直线f(x)=wx+b就可以分开了，类似这样：

该方法被称为：线性分类器，一个线性分类器的学习目标便是在n维的数据空间中找到一个超平面（hyper plane）。

        但是有个问题，如下两种超平面，都可以将数据进行分类，由此可推出，有无数个超平面能将数据划分，但是哪条最优呢？

 由此我们需要用到最大间隔分类器。

        2、最大间隔分类器（Maximum Margin Classifier，MMH）

        对一个数据点进行分类，当超平面离数据点的“间隔”越大，分类的确信度（confidence）也越大。

        为了使得分类的确信度尽量高，需要让所选择的超平面能够最大化这个“间隔”值，即图中Gap的一半。

        用以生成支持向量的点，如图中XO，被称为支持向量点。由此可看出SVM的一个优点：即使有大量的数据，但支持向量点是固定的，因此即使再次训练大量数据，这个超平面也可能不会变化。

        3、非线性分类

        数据大多数情况都不可能是线性的，那如何分割非线性数据呢？

        解决方法：将数据放到高维度上再进行分割，如下图：

五、几种常用核函数（Kernel）

        h度多项式核函数（Polynomial Kernel of Degree h）：有三个参数设置，degree：多项式核函数的阶数，默认是3：-g用来设置核函数中的gamma参数设置，和RBF作用相同，默认是1/K（K为样本个数）；-r用来设置核函数中的coef0（类似于b），默认值是0。

        高斯径向基和函数（Gaussian radial basis function Kernel）：应用最广泛，有一个参数。-g用来设置核函数中的 gamma参数设置，默认值是1/k（k是类别数）。

        S型核函数（Sigmoid function Kernel）：有两个参数，-g用来设置核函数中的gamma参数设置，也就是公式中的第一个r(gamma)，默认值是 1/k （k是类别数）；-r用来设置核函数中的coef0。

        图像分类通常使用高斯径向基和函数，因为分类较为平滑；文字不适用高斯径向基和函数。没有标准的答案，可以尝试各种核函数，根据精确度判定。

        对于核的选择也是有技巧的（libsvm中自带了四种核函数：线性核、多项式核、RBF以及sigmoid核）：

        第一，如果样本数量小于特征数，那么就没必要选择非线性核，简单的使用线性核就可以了，即不使用核函数。当不采用非常复杂的函数，或者我们的训练集特征非常多而实例非常少的时候，可以采用这种不带核函数的支持向量机

        第二，如果样本数量大于特征数目，这时可以使用非线性核，将样本映射到更高维度，一般可以得到更好的结果；

        第三，如果样本数目和特征数目相等，该情况可以使用非线性核，原理和第二种一样。 

        对于第一种情况，也可以先对数据进行降维，然后使用非线性核，这也是一种方法。

六、松弛变量 

        数据本身可能存在噪点，使得原线性可分的数据需要映射到高维度。对于这种偏离正常位置很远的数据点，我们称之为 outlier。在我们原来的SVM模型里，outlier的存在有可能造成很大的影响，因为超平面本身就是只有少数几个support vector组成的，如果这些support vector里又存在outlier的话，其影响就很大了。

        因此排除outlier点，可以相应的提高模型准确率和避免Overfitting的方式。

        解决多分类问题：

        经典的SVM只给出了二类分类的算法，现实中数据可能需要解决多类的分类问题。因此可以多次运行SVM，产生多个超平面，如需要分类1-10种产品，首先找到1和2-10的超平面，再寻找2和1,3-10的超平面，以此类推，最后需要测试数据时，按照相应的距离或者分布判定。

七、SVM与其他机器学习算法对比(图) 

 八、代码及详细解释(基于sklearn包)

代码：

from sklearn import svm
import numpy as np
import matplotlib.pyplot as plt

# 设置子图数量
fig, axes = plt.subplots(nrows=2, ncols=2, figsize=(7, 7))
ax0, ax1, ax2, ax3 = axes.flatten()

# 准备训练样本
x = [[1, 8], [3, 20], [1, 15], [3, 35], [5, 35], [4, 40], [7, 80], [6, 49]]
y = [1, 1, -1, -1, 1, -1, -1, 1]

'''
    说明1：
        核函数(这里简单介绍了sklearn中svm的四个核函数，还有precomputed及自定义的)

    LinearSVC：主要用于线性可分的情形。参数少，速度快，对于一般数据，分类效果已经很理想
    RBF:主要用于线性不可分的情形。参数多，分类结果非常依赖于参数
    polynomial:多项式函数,degree 表示多项式的程度-----支持非线性分类
    Sigmoid：在生物学中常见的S型的函数，也称为S型生长曲线

    说明2：
        根据设置的参数不同，得出的分类结果及显示结果也会不同
'''

# 设置子图的标题
titles = ['LinearSVC (linear kernel)',
          'SVC with polynomial (degree 3) kernel',
          'SVC with RBF kernel',  # 这个是默认的
          'SVC with Sigmoid kernel']

# 生成随机试验数据(15行2列)
rdm_arr = np.random.randint(1, 15, size=(15, 2))


def drawPoint(ax, clf, tn):
    # 绘制样本点
    for i in x:
        ax.set_title(titles[tn])
        res = clf.predict(np.array(i).reshape(1, -1))
        if res > 0:
            ax.scatter(i[0], i[1], c='r', marker='*')
        else:
            ax.scatter(i[0], i[1], c='g', marker='*')
    # 绘制实验点
    for i in rdm_arr:
        res = clf.predict(np.array(i).reshape(1, -1))
        if res > 0:
            ax.scatter(i[0], i[1], c='r', marker='.')
        else:
            ax.scatter(i[0], i[1], c='g', marker='.')


if __name__ == "__main__":
    # 选择核函数
    for n in range(0, 4):
        if n == 0:
            clf = svm.SVC(kernel='linear').fit(x, y)
            drawPoint(ax0, clf, 0)
        elif n == 1:
            clf = svm.SVC(kernel='poly', degree=3).fit(x, y)
            drawPoint(ax1, clf, 1)
        elif n == 2:
            clf = svm.SVC(kernel='rbf').fit(x, y)
            drawPoint(ax2, clf, 2)
        else:
            clf = svm.SVC(kernel='sigmoid').fit(x, y)
            drawPoint(ax3, clf, 3)
    plt.show()

 运行效果：