读书笔记
多分类学习
基本思想:拆解法;将多分类任务拆解为若干个二分类任务求解,先对这些问题经拆分,为拆分出的每个二分类任务训练一个分类器,测试时,对这些分类器的预测结果进行集成以获得最终的多分类结果,
拆分策略:one vs one,一对一,将N个类别两两配对,产生,即N(N-1)/2个分类结果,最终结果通过投票产生,投票是把被预测的最多的类别作为最终分类结果。
One vs rest,一对其余,每次将一个类的样例作为正样本,其他的作为负样本,训练N个分类器。选择预测置信度最大的标记类别作为分类结果。。
ManyvsMany 多对多,每次将若干个类作为正样本,若干个类作为负样本,,MvM的正负样本设计必须有特殊的设计,最常用的是ECOC(Error Correcting Output Codes)。
分编码和解码两步走,编码:对N个类别做M次拆分,每次拆分将一部分做正样本,一部分做负样本,形成一个二分类训练集,如此可产生M个训练集,训练M个分类器。
解码:M个分类器分别对测试样本进行预测,这些预测标记形成一个编码,将这个预测编码与每个类别各自的编码进行比较,,返回其中距离最小的类别作为最终的预测结果。
如下是二元ECOC码
一些约束:ECOC对分离器具有一定的容错和纠错能力,这是说如果f2分类出错,从而导致-1,-1,+