本文详细介绍了在多分类问题中，使用softmax激活函数时的交叉熵损失函数，并对其进行反向传播梯度推导。通过两个部分，一是多分类问题的交叉熵，二是二分类问题的交叉熵，展示了无论哪种情况，梯度推导都有相似的结构。
文章目录
1. 多分类问题的交叉熵
设标签 y k = 1 y_k=1 yk=1，也即 x k x_k xk对应的第 k k k类的标签为1，则交叉熵损失函数为：
(1) J = − ∑ j = 1 N y j log a j L = − log a k L J = -\sum_{j=1}^Ny_j\log a_j^L = -\log a_k^L \tag{1} J=−j=1∑NyjlogajL=−logakL(1)
其中 N N N是分类的类别数目。
softmax激活函数的表达式为：
(2) a k L = e z k L ∑ j = 1 N e z j L a_k^L = \frac{e^{z_k^L}}{\sum\limits_{j=1}^{N}e^{z_j^L}} \tag{2} akL=j=1∑NezjLezkL(2)
反向传播过程需要对每一个 z j L , j = 1 , 2 , ⋯   , N z_j^L, j=1, 2, \cdots, N zjL,j=1,2,⋯,N求导数。
(1) 当 j = k j=k j=k时：
(3) ∂ J ∂ z j L = ∂ J ∂ z k L = ∂ J ∂ a k L ∂ a k L ∂ z k L
最低0.47元/天 解锁文章
扫一扫
1107
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
