softmax函数：
f
i
(
z
)
=
e
z
i
∑
j
=
1
K
e
z
j
f_{i}(z)=\frac{e^{z_{i}}}{\sum_{j=1}^{K}e^{z_{j}}}
fi(z)=∑j=1Kezjezi
- softmax的输入值是一个向量，向量中为任意实数的评分值；输出一个向量，其中每个元素值在0到1之间，且所有元素之和为1（归一化的分类概率）。
损失函数：交叉熵损失（cross entropy loss）
L
i
=
−
l
o
g
(
f
i
(
z
)
)
L_{i}=-log(f_{i}(z))
Li=−log(fi(z))
在使用softmax分类器的分类任务中，对于其中样本
x
i
x_{i}
xi为第
k
k
k类的概率为：
p
(
Y
=
k
∣
x
i
)
=
e
s
k
∑
j
=
1
K
e
s
j
,
其
中
s
=
f
(
x
i
;
w
)
p(Y=k| x_{i})=\frac{e^{s_{k}}}{\sum_{j=1}^{K}e^{s_{j}}} ,其中 s=f(x_{i};w)
p(Y=k∣xi)=∑j=1Kesjesk,其中s=f(xi;w)
损失
L
k
=
−
l
o
g
(
p
(
(
Y
=
k
∣
x
i
)
)
L_{k}=-log(p((Y=k| x_{i}))
Lk=−log(p((Y=k∣xi))
因此损失函数为：
L
k
=
−
l
o
g
(
e
s
k
∑
j
=
1
K
e
s
j
)
L_{k}=-log(\frac{e^{s_{k}}}{\sum_{j=1}^{K}e^{s_{j}}})
Lk=−log(∑j=1Kesjesk)
Softmax实例：
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
