有监督分类：基于最小二乘法的分类

1.前言

接下来主要介绍有关模式识别的算法。不可否认的是，在全民AI时代，PR的重要性越来越凸显了。

模式识别是指：对于输入的模式x∈R，将其分类到它属于的类别y∈[1,...,c]的方法。c表示类别的数目。

2.最小二乘分类

首先考虑2类别分类问题y∈{+1，-1}.这种情况下，分类器的学习问题可以近似地定义为取值为+1、-1的二值函数问题，如下图所示：

函数近似分类的问题

像这样的二值函数，可以使用最小二乘法进行与回归算法相同的学习。

测试模式x所对应的类别y的预测值y'是由学习后的输出结果的符号决定的：

注意：f=0是指实际上不怎么会发生的事件，也就是小概率事件。

像这样，把分类问题看成函数的近似问题，通过在分类器得构造中采用最小二乘法，就可以对前面我们学习到的最小二乘学习法进行拓展并灵活应用了。

上图展示的是使用L2约束的最小二乘学习进行模式识别的例子。虽然很复杂，但是也完成了分类。

还是先复习一下高斯核模型：

注意：线性判别分析中，当正负两样本的模式都服从协方差矩阵相同的高斯分布时，可以获得最佳的泛化能力。

3.0/1损失和间隔

如下式所示：

分类问题中使用函数的正负符号来进行模式判断，函数值本身的大小并不是那么的重要。因此，分类问题中如果应用如下式所示的0/1损失的话，应该会比L2损失得到更好的结果：

上式0/1损失与下式是等价的：

当分类错误的时候，函数结果为1；当分类正确的时候，函数结果为0.因此，0/1损失可以用来对错误分类的样本个数进行统计。

间隔函数m=f(x)y的0/1损失和L2损失

上图表示的是m=f(x)y函数的0/1损失的例子。在0/1损失函数中，当m>0的时候，损失为0；当m≤0的时候，损失为1.0/1损失函数并不依赖与m值的大小，即使m是非常小的数值，只要是正数，损失就为零；而只要m是零以下的数值，损失就都为1.所以，m应该竟可能的取较大的数，这样学习的结果就会更加的稳定。

4.多类别的情况

前面介绍的都是两类别模式识别问题。然而在实际问题中，类别往往不仅仅只有两个，比如字母的手写识别需要26个类别，而汉字的识别更需要成百上千个类别。

多类别的模式识别问题的直接解决方案后面会专门开辟几个博文来讨论。这里将介绍两种利用2类别的模式识别算法解决多类别问题的方法。

4.1 一对多法用于多分类问题

使用一对多法进行分类

该方法首先解决2类别的分类问题。对于所有的与y=1,...,c相对应的类别，设其标签为+1，而对于剩余的y以外的所有类别，则设其标签为-1.在对样本x进行分类时，利用从各个2类别分类问题中得到的c个识别函数：

对训练样本进行预测，并计算其函数值，期预测类别y'即为函数值最大时所对应的哪一类。

在一对多方法中，从各个2类别的分类问题中训练得到c个识别函数f1(x),f2(x),...,fc(x)的输出，表示的是测试样本x属于类别y的概率，概率最大的哪一个就是测试样本x所属的类别。

4.2 一对一法用于多分类问题

在该方法中，首先对于所有的与y,y'=1,...,c相对应的类别，在任意两类之间训练一个分类器，属于类别y的标签设为+1，属于类别y'的标签设置为-1，通过这样的方式，利用2类别的分类算法进行求解。

在对样本x进行分类时，利用从各个2类别的分类问题中得到的c(c-1)/2个识别函数对训练样本进行预测，再用头皮案发决定其最终类别。

得票数最多的类别就是样本x所属的类别。

4.2 讨论

在一对多方法中，对2类别问题进行了c次求解，而一对一方法则需要进行c(c-1)/2次求解。另一方面，在一对一方法中，对于每个2类别分类器，只需要2类的训练样本即可完成训练、学习。而在一对多方法中，对于每个2类别分类器，需要所有类别的训练样本都参与才能完成。

这里还要对比一下“直接法”和“间接法”。

虽然目前有多类问题的直接求解方法，但是并不是说对于多类问题直接进行求解一定是最好的选择。为什么这么说呢？因为与通用2类别分类问题间接求解相比，直接求解的计算一般更加的困难。因此，在实际应用中，更应该结合实际情况选择适应的方法。