支持向量机

功能描述

支持向量机(support vector machine,SVM)是一种分类算法，但是也可以做回归，根据输入的数据不同可做不同的模型。（若输入标签为连续值作回归问题处理，若输入标签为分类的离散值则可作分类问题处理。）它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

细节描述（公式 模型图示）

原始的SVM只擅长处理二分类问题，在引入核函数之前，只能解决线性可分问题；在应对线性不可分问题的时候，支持向量机首先在低维空间中完成计算，然后通过核函数将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优分离超平面，从而把平面上本身不好分类的非线性数据分开。如下图所示，对于在二维空间上无法划分的数据，可以通过将其映射到三维空间上进行划分：

一般而言，一个点距离超平面的远近可以表示为分类预测的确信或准确程度。SVM就是要最大化这个间隔值。而在虚线上的点便叫做支持向量Supprot Verctor。

对于分类问题而言，通过这个朝平面来实现分类的过程其实就是最大化标记为不同类数据到超平面之间距离的过程；而对于回归问题而言，将这个最大化距离的过程转化为最小化距离到一定误差范围之内。即通过一条带有一定误差允许范围的超平面完成这个拟合过程，如下如所示：

支持向量回归认为只要预测值f(x)与真实值y之间偏离程度不要太大，既可以认为预测正确，不用计算损失，具体的，就是设置阈值α,只计算|f(x)−y|>α的数据点的loss，如上图所示，阴影部分的数据点我们都认为该模型预测准确了，只计算阴影外的数据点的loss，通过最小化这个loss之和的方式来完成预测函数拟合的过程。
根据从低空间向高维空间映射方式的差异，有如下几种常见的核函数：

• 高斯核
  
  高斯核对于数据中的噪音有着较好的抗干扰能力，但对参数的选择上有着较高的要求，如果的选得很大的话，高次特征上的权重实际上衰减得非常快，所以实际上（数值上近似一下）相当于一个低维的子空间；反过来，如果这个参数选的很大的话，高次特征上的权重实际上衰减的非常快，所以实际上（数值近似一下）相当于一个低维的子空间，反过来，如果这个参数选得很小，则可以将任意的数据映射为线性可分——当然，这并不一定是好事，因为随之而来的可能是非常严重的过拟合问题。不过，总的来说，通过调控参数，高斯核实际上具有相当高的灵活性，也是使用最广泛的核函数之一。如下所示便是把低维线性不可分的数据通过高斯核函数映射到了高维空间：
  

• 线性核
  

这实际上就是原始空间中的内积。这个核存在的主要目的是使得“映射后空间中的问题”和“映射前空间中的问题”两者在形式上统一起来了(意思是说，咱们有的时候，写代码，或写公式的时候，只要写个模板或通用表达式，然后再代入不同的核，便可以了，于此，便在形式上统一了起来，不用再分别写一个线性的，和一个非线性的)。

• 多项式
  
  ,d=1,2,…,N使用这个核函数进行映射的时候，对向量种的每一个变量的选定比较麻烦，但这个核所对应的映射上是可以写出来的，该空间的维度是，其中 m 是原始空间的维度。
  对于核函数而言，其本质的作用在于将数据在低维度上所进行的计算，通过核函数的转换能够作用到高维度上，而不是在遇到线性不可分问题的时候就一律映射到高维空间，那么这个维度大小是会高到可怕的。

支持向量机的优势:

1. 可用于线性/非线性分类，也可以用于回归；
2. 低泛化误差；
3. 容易解释；
4. 计算复杂度较低；
5. 可以解决高维问题；
   参考博文链接：

回归–Support Vector Regression(SVR)

机器学习笔记之SVM（SVR）算法

机器学习笔记之SVM（SVR）算法_Magician的博客-CSDN博客

Spark机器学习系列之13： 支持向量机SVM

Spark机器学习系列之13： 支持向量机SVM_qq_34531825的博客-CSDN博客

支持向量机通俗导论（理解SVM的三层境界）：

支持向量机通俗导论（理解SVM的三层境界）_结构之法 算法之道-CSDN博客

1. 一步一步带你分析核函数的原理-Kernel Method

总结一下遇到的各种核函数~：

总结一下遇到的各种核函数~_love模式识别-CSDN博客