support vector network

The support-vector network implements the following idea:

转自贾扬清https://www.zhihu.com/question/22290096/answer/52642714
具体地说，线性SVM的计算部分和一个单层神经网络一样，就是一个矩阵乘积。SVM的关键在于它的Hinge Loss以及maximum margin的想法。其实这个loss也是可以用在神经网络里的（参见object detection的R-CNN方法）。对于处理非线性数据，SVM和神经网络走了两条不同的道路：神经网络通过多个隐层的方法来实现非线性的函数，有一些理论支持（比如说带隐层的神经网络可以模拟任何函数），但是目前而言还不是非常完备；SVM则采用了kernel trick的方法，这个在理论上面比较完备（RKHS，简单地说就是一个泛函的线性空间）。两者各有好坏，神经网络最近的好处是网络设计可以很灵活，但是老被人说跳大神；SVM的理论的确漂亮，但是kernel设计不是那么容易，所以最近没有那么热了。

1995年, Corinna Cortes与Vapnik提出了一种改进的最大间隔区方法support vector network，这种方法可以处理标记错误的样本。如果可区分正负例的超平面不存在，则“软边界”将选择一个超平面尽可能清晰地区分样本，同时使其与分界最清晰的样本的距离最大化。这一成果使术语“支持向量机”（或“SVM”）得到推广。这种方法引入了松驰参数$\xi_i$以衡量对数据$x_i$的误分类度。

• 映射输入向量至高位空间Z，通过预先选择的先验性非线性映射。
• 在该空间中一个线性决策面被构造通过特殊性性质，这样保证了网络的泛化性。
  这样存在2个问题，一是如何找到泛化性能好的分界面。其次是特征空间的维数将会变得很大。并且并非所有的对训练书分类性能好的分类器泛化性能好。
  另外一个技术性问题是如何计算高位空间中的数据，为构造节数为4-5的多项式对于初始数据为200为的数据，转换之后变为上百万维数据。
  SVM算法给出了最优超平面，超平面定义为两类之间的线性决策函数。