机器学习之多元分类（机器学习基石）

一个案例

如上图所示我们要使用一些线性模型来分割这四种不同的图案，利用以前学过的二元分类我们可以将某一个种类分别从整体中分离出来。比如将图通是方块和不是方块的做二元分类，是三角形的和不是三角形的进行分类等等，然后我们得到下图：

问题的出现

如上图所示我们在单独的分割中可以分别将我们想要的目标图案分割出来，但是我们将这些图标片综合起来看得到下图：

在图中带有标号的区域就是公共区域，在公共区域内的判断是矛盾的也就是说它在一个叠加的区域内比如说④区既属于方块分类也属于五角星分类，那么我们遇到了麻烦。我们就需要使用其它的方法。

OVA算法

针对上面的问题我们不在使用简单的二元分类而是使用Logistic Regression来对资料进行软性分割。在软性分割之后不再出现绝对的公共区域。举个例子在某一个点有0.7的几率为■，0.2的几率为◆，0.1的几率为▲那么我们就判定当前这个点为■。在数学上的决策为：

这种算法称之为OVA算法（One-Versus-All），同时也指出由于θ也为单调增函数所以在上式中不考虑θ函数直接比大小也是可以的。

对于OVA算法的评价

优点：非常的有效，能够用LogisticRegression或与其类似的算法来解决多元分类问题。

缺点：当一个类别所占的比例很小的时候（种类太多的时候）会LogisticRegression会出现判断误差。比如：有100种类别，我们如果只选择一种的话其他的99种都会是其它类，也就是其它类的概率是99%，若做一个大体上的估计LogisticRegression会估计100%都是其它类。

额外的：没有考虑到更为复杂的条件，比如说几率之和等于1之类的条件。

OVO算法

OVO算法的思路不再是1V多而是1V1。分别拿出两个类别来进行二元分类，在将所有的组合都遍历以后我们想要判断的点被判定在哪个区域的次数最多我们就预测它属于那个区域。

如上图所示，我们要判断黄色荧光区域所属的类别，在所有的分类中有3次判为■，1次◆，0次▲，2次★所以我们最后判定它为■。

OVO算法的评价

优点：一次使用的资料量相对OVA来说较小，能够用所有解决二元分类的问题来解决它。

缺点：在种类多的时候复杂度很高，预测时间较慢需要更多的训练。