在线学习意味着应用增量学习方法来处理新增样本。
对于 linear SVM 问题,求解方法之一是利用 Gradient Descent 最小化如下所示的代价函数(有SVM原问题得到),但遗憾的是与基于二次规划的求解方法相比,收敛速度要慢得多。
【式-1】线性SVM分类代价函数
J(w,b)=12wTw+C∑i=1mmax(0,1−yi(wTxi+b))
J
(
w
,
b
)
=
1
2
w
T
w
+
C
∑
i
=
1
m
max
(
0
,
1
−
y
i
(
w
T
x
i
+
b
)
)
Hinge Loss
【式-2】Hinge Loss function
max(0,1−t)
max
(
0
,
1
−
t
)
Hinge Loss 在 t<1 t < 1 时梯度为 -1,在 t>1 t > 1 时梯度为0,在 t=1 t = 1 处不可导,但可以利用次导数:即 0 和 -1 之间的任何值。