支持向量机二分类问题推广到多分类问题

将二分类问题推广到多分类问题，这里介绍两种策略，一个是一对其余策略，另外一个是一对一策略。

一对其余策略

对于C分类问题需构造C个二分类最优超平面
第1个二分类问题，把第1类看作是正类，其余看作负类；
第2个二分类问题，把第2类看作正类，其余看作负类；
以此类推…；
第C个二分类问题，把第C类看作正类，其余看作负类。
设第$i$个二分类问题的最优超平面为$({\omega }_i,b_i)$，即
$$g_i(x)={\omega }_i\varphi (x)+b_i=0$$
其中$\varphi (x)$是原始空间到新空间的映射
输入$x$所属的类别为
$$i\ast =ma{x}_{i\in (1,2,...,c)}{g}_i(x)$$

一对一策略

对于C分类问题，一共要构造$\frac{c(c-1)}{2}$个二分类分隔超平面
对于第1个二分类问题，把第1类看作正类，第2 类看作负类，组成训练集$T_{12}$;
对于第2个二分类问题，把第1类看作正类，第3类看作负类，组成训练集$T_{13}$；
以此类推…；
对于第$i(3<i\le C)$个二分类问题，把第1类看作正类，第i类看作负类，组成训练集$T_{1i}$；
以此类推…;

对于第$2C+i-1(1\le i\le C)$个二分类问题，把第3类看作正类，第$i$类看作负类，组成训练集$T_{3i}$
以此类推…。
设训练集$T_{ij}$对应的二分类问题的最优超平面为$({\omega }_{ij},b_{ij})$：
$$g_{ij}(x)=({\omega }_{ij}\cdot \varphi (x)+b_{ij})=0$$
$$i<j,1<j\le C,1\le i<C$$
输入$x$所属的类别为
$$i{j}^{\ast }=\{\begin{array}{ll}i& g_{ij}>0\\ j& \text{其他}\end{array}$$
综合考虑$\frac{c(c-1)}{2}$个分类器对$x$所属类别的意见，然后采用投票法来确定$x$最终所属的类别，如第$ij$个分类器判定$x$属于第$i$类，则第$i$类获得一票，得票最多的类即为$x$所属的类别。
线性可分支持向量机
线性支持向量机
非线性支持向量机