回顾一下线性分类、线性回归和逻辑回归模型:
三个模型的错误恒量为:
所以常用逻辑错误恒量来做分类问题,即
对于多分类的问题,可以利用逻辑回归训练多个分类器,把其中一个当做一类,其他的作为一类
例如:
得出是个逻辑回归的软分类器
分别输入四个分类器,比较出哪个分类器得出的几率较高,把输入归为相应的类
但这种把其中一个作为一类,其他剩余的作为一类训练分类器,会造成两类数据的不平衡(例如,4种平均样本,其中一种为一类,剩余3种为一类,则最后两类样本量为1:3),解决方法为,在n类样本中选取两个做分类,其余的样本不用,这样两两训练一个分类器共得到m个分类器(例如,4类样本,选取两个训练一个分类器,一共6个分类器)
输入样本,在每个分类器得出属于的类,在m个结果中统计得票最多的类(或者几率最高的类),作为最终的结果,适用于分类不多的情况。