1. Hinge Loss 表达式
Hinge loss也称之为Multiclass SVM loss
L
(
W
)
=
1
/
N
∑
i
=
1
N
∑
i
≠
j
m
a
x
(
0
,
S
i
−
S
j
+
1
)
L(W) =1/N \sum_{i=1}^N \sum_{i\neq j} max(0, S_i-Sj+1)
L(W)=1/N∑i=1N∑i=jmax(0,Si−Sj+1)
2. 正则化
当Hinge loss = 0 时，W的取值不唯一，而通过添加正则项可以使得w的值唯一。
3. Softmax 与cross-entropy损失公式
Softmax:
P
(
Y
=
k
∣
X
=
x
i
)
=
e
s
k
∑
j
e
s
j
P(Y=k|X=x_i)=\frac{e^{s_k}}{\sum_j e^{s_j}}
P(Y=k∣X=xi)=∑jesjesk
cross-entropy loss:
L
=
−
l
o
g
(
P
(
Y
=
k
∣
X
=
x
i
)
)
L = -log(P(Y=k|X=x_i))
L=−log(P(Y=k∣X=xi))
最大值是无穷大，最小值是0.
softmax 求导：
d
f
(
x
)
d
(
x
)
=
l
i
m
h
−
>
0
f
(
x
+
h
)
−
f
(
x
)
h
\frac{df(x)}{d(x)} = lim_{h->0} \frac{f(x+h)-f(x)}{h}
d(x)df(x)=limh−>0hf(x+h)−f(x)
4. Hinge loss与Softmax的区别
Hinge loss主要用于SVM中，而Softmax 分类器可以理解为逻辑回归分类器面对多个分类的一般话归纳，其输出(归一化的分类概率)更加直观,且可以从概率上解释。
648
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
