线性模型--多分类学习

有些二分类学习方法可以直接推广到多分类，但更多情形下，是基于一些策略，利用二分类学习器解决多分类问题。

多分类学习的基本思路是“拆解法”，即将多分类任务拆为若干个二分类任务求解。具体来说，先对问题进行拆分，然后为拆分的每个二分类任务训练一个学习器；在测试时，对这些分类器的预测结果进行集成以获得最终的多分类结果。

最经典的拆分策略有三种：一对一（One vs. One， OvO）,一对其余（One vs. Rest, OvR，也称为OvA)和多对多（Many vs. Many，MvM)。

如果类别个数是N，对于OvO，就会产生 $N(N-1)/2$ 个分类器，即两两配对，各个分类器会挑出类别对应的数据进行训练获得模型。在预测时，同时把样本提交给所有分类器，然后得到 $N(N-1)/2$ 个结果，根据投票等策略获得最终结果。

对于OvR，训练产生N个分类器，测试时，只要一个分类器预测正类，则对应的类别标记就是最终结果，如果有多个分类器预测为正，就要考虑其他置信度了。

因此，OvO的存储开销和测试时间开销要大于OvR，但在训练时，因为使用的数据量不同，通常在类别很多时，OvO的训练时间开销比OvR更小。

MvM是每次将若干个类作为正类，若干个类作为反类。显然，OvO和OvR是其特列。MvM的正、反类构造必须有特殊的设计，最常用的是：纠错输出码（ECOC）。一般对同一个任务，ECOC编码越长，纠错能力越强。此外，还可以使用DAG（Directed Acyclic Graph）拆分法