从逻辑回归到SVM

本篇博文介绍svm算法，从优化目标出发，分析svm的产生，以及产生svm解的原因。

在逻辑回归中，我们发现，对于一个样本（x,y），对代价函数造成的影响是带来如下一项：

y=1时，实际是上式的第一项，产生的影响如下图所示：

y= 0时，实际是上式的第二项，产生的影响如下图所示：

现在，我们从这两个代价函数开始，构建svm.

针对y=1和y=0,我们分别将代价函数修改为下图的红线部分：

下面，我们根据逻辑回归的代价函数，得到svm的代价函数:

逻辑回归中，代价函数为：

        【A+λB的形式】

svm中，我们将上式修改为：

【cA+B的形式，c=1/λ</