SVM算法（七）将SVM推广到分类概率问题

根据前文对SVM算法的推导，可以给出样本点的预测值：
$$sign(\sum _{i=1}^n{\alpha }_i{y}_{i}K(x_i,x)+b)$$但一些情况下，我们不仅希望模型能输出表示分类的符号，也希望能得到某个分类的置信概率，正如逻辑回归得到的$P(y|x)=\frac{1}{1+e^{-(wx+b)}}$一样。那么如何基于SVM给出分类的概率值呢？

一、方案一：SVM+LR的混合模型

一种显而易见的方案是将SVM模型的函数距离输出值作为输入，喂给LR模型进行训练。这种做法类似于两层模型之间的blending。

在SVM模型中，可以通过引入核技巧隐式构造非线性特征，从而使得下一层的LR模型也能学习到这些信息。

二、方案二：核逻辑回归模型

在SVM算法的正则化损失函数视角中提到了线性模型$L2$正则化的泛化：$$\min \lambda w^2+\sum _{i=1}^{n}err(y_i,g(w{x}_i))$$
可以证明其最优解$w^{\ast }$必然可以表示成样本点特征的线性组合，即$$w^{\ast }=\sum _{i=1}^n{\beta }_i{x}_i$$代入目标函数，可得:$$\min \lambda w^2+\sum _{i=1}^{n}err(y_i,g(\sum _{j=1}^n{\beta }_i(x_i\ast x_j)))$$回忆下在SVM算法（三）核技巧中论述的，引入核技巧的关键在于目标函数中出现了样本特征间的内积，而上式中满足这个要求，也就意味着线性模型$L2$正则化中可以引入核技巧！

应用到逻辑回归中，其目标函数为：$$\min \frac{\lambda }{N}{w}^2+\frac{1}{N}\sum _{i=1}^N{y}_{i}log(1+e^{1-y_{i}w{x}_i})$$若将$w$表示为特征线性组合的形式，即:$$w=\sum _{i=1}^N{\beta }_i{x}_i$$则目标函数可改写为：$$\underset{\beta }{\min }\frac{\lambda }{N}\sum _i^N\sum _j^N{\beta }_i{\beta }_j{x}_i{x}_j+\frac{1}{N}\sum _i^N{y}_{i}log(1+e^{1-y_i\sum _{j=1}^N{\beta }_j{x}_j{x}_i})$$引入核函数，可得到完整的核逻辑回归问题的目标函数：$$\underset{\beta }{\min }\frac{\lambda }{N}\sum _i^N\sum _j^N{\beta }_i{\beta }_{j}K(x_i,x_j)+\frac{1}{N}\sum _i^N{y}_{i}log(1+e^{1-y_i\sum _{j=1}^N{\beta }_{j}K(x_j,x_i)})$$这是个无约束的二次规划问题，可通过梯度下降的方法求解。

三、小结

基于SVM模型（更准确的说，是联合逻辑回归模型），可以两种方式实现的分类概率输出。

方案一：通过“SVM+LR”进行blending的方式，在SVM模型中引入核技巧考虑非线性空间特征转换，模型终端输出分类概率。

方案二：直接在逻辑回归中引入核技巧，从而使得逻辑回归模型能够考虑非线性空间特征转换的同时，输出分类概率。