台大林轩田《机器学习基石》学习笔记：线性模型三（Multiclass Prediction）

本文是作者学习台大林轩田教授《机器学习基石》课程后整理的简要笔记（未按课程回目分节），内容大部分来源于林轩田教授的课程资料，其余相关参考链接已标出。

版权所有：CSDN博客  拖延症患者的自愈小记 

线性模型 - Linear models

• MulticlassPrediction 多级预测

    做选择题（常用来解决辨识问题），用已有的是非题的解法去解决，两个思路：

    （1）OVA(One-Versus-All)，先尝试用二元分类将每一个“某类”和其他类分开，把所有分类结果合成起来combine binary classifiers，则会出现左图的问题，有些区域有争抢而有些区域大家都不要的情况；为了解决这个问题，用soft分类器代替二元分类器，也就是用Logistic将每一个“某类”在区域中的概率算出来，如右图，于是在合成所有结果combine soft classifiers有争议的时候，根据概率最大来判断即可

    Pros：有效；Logistic可以被很多其他方法取代而得到各种重组方法

    Cons：若类别过多，圈和叉比例严重失衡，很影响分类结果

    （2）OVO(One-versus-One at a time)，有些像足球小组赛，两两versus一次，即先将每一对“A类和B类”分开（如下图，不考虑其他类），最后把所有分类结果合成起来

    Pros：解决了OVA数据太大时失衡的问题；二分算法可以有很多选择

    Cons：时间空间复杂度被平方