Online SVM 和 Hinge Loss

在线学习意味着应用增量学习方法来处理新增样本。

对于 linear SVM 问题，求解方法之一是利用 Gradient Descent 最小化如下所示的代价函数（有SVM原问题得到），但遗憾的是与基于二次规划的求解方法相比，收敛速度要慢得多。

【式-1】线性SVM分类代价函数

$$J(w,b) = \frac{1}{2}w^Tw + C\sum_{i=1}^m\max\left( 0,1-y_i(w^Tx_i+b) \right)$$

Hinge Loss

【式-2】Hinge Loss function

$$\max(0,1-t)$$

Hinge Loss 在 $t<1$ 时梯度为 -1，在 $t>1$ 时梯度为0，在 $t=1$ 处不可导，但可以利用次导数：即 0 和 -1 之间的任何值。