文章目录
1. 多分类问题的交叉熵
设标签 y k = 1 y_k=1 yk=1，也即 x k x_k xk对应的第 k k k类的标签为1，则交叉熵损失函数为：
(1) J = − ∑ j = 1 N y j log a j L = − log a k L J = -\sum_{j=1}^Ny_j\log a_j^L = -\log a_k^L \tag{1} J=−j=1∑NyjlogajL=−logakL(1)
其中 N N N是分类的类别数目。
softmax激活函数的表达式为：
(2) a k L = e z k L ∑ j = 1 N e z j L a_k^L = \frac{e^{z_k^L}}{\sum\limits_{j=1}^{N}e^{z_j^L}} \tag{2} akL=j=1∑NezjLezkL(2)
反向传播过程需要对每一个 z j L , j = 1 , 2 , ⋯   , N z_j^L, j=1, 2, \cdots, N zjL,j=1,2,⋯,N求导数。
(1) 当 j = k j=k j=k时：
(3) ∂ J ∂ z j L = ∂ J ∂ z k L = ∂ J ∂ a k L ∂ a k L ∂ z k L
最低0.47元/天 解锁文章
395
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
