机器学习--多分类学习

多分类学习

基本思想

“拆解法”，即:将多分类任务拆分为多个二分类任务。
先对任务进行拆分，然后为拆分出的每个二分类任务训练一个分类器；在测试时，对这些分类器的结果进行集成以获得最终 的多分类结果。

拆分策略

1. 一对一：将N个类别两两配对，从而产生N(N-1)/2个二分类任务，由此训练得到N(N-1)/2个分类器。测试时，测试数据会被送入所有的分类器中，把预测的最多的类别作为最终的结果；
2. 一对多：每次将一个类作为正例、其它类的样例作为反例来训练N个分类器；测试时如果只有一个分类器被预测为正例，则对应的类别作为最终的分类结果，如果有多个分类器预测为正例，则要检测分类器的预测值置信度，置信度最大的类别作为分类结果；
3. 多对多：若干个类作为正例、若干个作为反例进行训练。常用技术是：纠错输出码。

纠错输出码

1. 编码阶段：对N个类别做M次划分，每次将一部分作为正例、一部分作为反例，从而形成一个二分类训练集，总共形成M个分类器；
2. 解码阶段：M个分类器分别对测试数据进行预测，这些预测标记组成一个编码。将这个预测编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终的预测结果。