多分类学习问题的解决方法

基本思路

利用二分类学习器解决多分类问题。考虑$N个类别C_1,C_2,...,C_N$,多分类学习的基本思路是“拆解法”，即将多分类问题拆分，然后为拆出的每个二分类任务训练一个分类器；在测试的时候，对每个分类器的预测结果进行集成，然后获得多分类结果。

具体方法

拆分策略：“一对一”(OvO)，“一对其余”(OvR)，“多对多”(MvM)

对给定的数据集$D ={(x_1,y_1),(x_2,y_2),...,(x_m,y_m)},y_i \in {C_1,C_2,...,C_N}.$

$OvO:将这N个类别两两配对$，从而产生$N(N-1)/2$个二分类任务，例如$OvO$将为区分类别$C_i和C_j$训练一个分类器，把$C_i$类样例作为正例，$C_j$类样例作为反例。在测试阶段，将$N(N-1)/2$个二分类结果通过投票产生最终结果：将预测最多的类别作为最终分类结果。

$OvR：$将一个类作为正例、剩下的作为负例来训$练N$个分类器。若有一个分类器被分为正例，则被标记正例的类即为最终分类结果，若有多个，则求取每个类别的置信度，选取置信度最大的类别作为最终结果。

MvM:将若干个类作为正类，剩下的若干类为反类，通过“纠错输出码（ECOC）”来选取正反类。

process：
1.编码：对N个类别做M次划分，每次划分将一部分类别划分为正类，一部分划分为反类，从而形成一个二分类训练集；这样一共产生M个训练集，可训练出M个分类器。
2.解码：对M个分类器分别对测试样本进行预测，这些预测标记组成一个编码。将这个预测编码与每个类别的各自编码进行比较，返回其中最小的类别作为最终预测结果。
如下例：

对于向量$X=(x_1,x_2,x_3,x_4...,x_n);Y=(y_1,y_2,y_3,y_4...,y_n)$

欧氏距离：
$D_1=\sqrt{(y_1-x_1)^2+(y_2-x_2)^2+(y_3-x_3)^2+...+(y_n-x_n)^2}$
海明距离：$D_2=\sum _{i=1}^n II(x_i \neq y_i)$