将二分类扩展为 N N N分类在某些情况下可以直接推广二分类学习算法,但更多时候是对数据集下手的方法:
- OvO (one),一个数据集产生 N ( N − 1 ) 2 \frac{N(N-1)}{2} 2N(N−1)个分类任务(模型),最终结果由投票产生
- OvR (rest),一个数据集产生 N N N个分类任务(模型),最终结果由预测置信度高者产生
- MvM (many),上两者是这个的特例,常用
E
C
O
C
ECOC
ECOC(纠错输出码)构造正反例
- 编码: N N N个类别根据编码矩阵划分 M M M次,每次一部分作为正例,一部分作为反例,产生 M M M个分类器模型
- 解码: M M M个分类器产生预测标记,它们组成预测编码,将预测编码与每个类别各自的编码进行比较,最终结果是距离最小的类别
- E C O C ECOC ECOC编码越长,计算存储开销增大,但纠错能力更强,因为 M M M个模型中某一个出错的影响随着 M M M的增大变小;对于有限类别数,组合数目有限,编码太长会失效