最通俗易懂---多分类学习之OvO、OvR、MvM

基本思路

  多分类学习的基本思路是“拆解法”，即将多分类任务拆分成若干个二分类任务求解。
  考虑n个类别，C1，C2， C3，…， Cn，给定数据集D={(x1,y1), (x2,y2), (x3,y3),…, (xm,ym)}，yi∈{C1，C2，C3，…，Cn}

OvO（一对一）

  将n个类别两两配对，产生n(n-1)/2个二分类任务，获得n(n-1)/2个分类器，新样本交给这些分类器，得到n(n-1)/2个结果，最终结果投票产生。

OvR（一对其余）

  每次将一个类作为正例，其余n-1个类作为反例。可训练出n个分类器，在测试时，若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果。若有多个分类器预测为正类，则通常考虑各分类器的预测置信度，选择预测置信度最大的类别标记作为分类结果。

  类别多时，OvO的训练时间开销通常比OvR小。

MvM（多对多）

  每次将若干个类作为正类，若干个其他类作为反类。显然，OvO，OvR是MvM的特例。
  MvM的正、反类构造须有特殊的设计，不能随意选取。最常用的MvM技术：“纠错输出码”（ECOC），将编码的思想引入类别拆分，并尽可能在解码过程中具有容错性。
  ECOC主要分为两步：

• 编码：对n个类别做M次划分，每次划分将一部分类别划为正类，一部分划为反类，从而形成一个二分类训练集，这样一共产生M个训练集，可训练出M个分类器；
• 解码：M个分类器分别对测试样本进行预测，这些预测标记组成一个编码，将这个预测编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终预测结果。