Cross Entropy Loss with Softmax的求导

一个复杂的公式,最后求导的结果极为精简,被设计者的智慧折服。
思路,利用链式法则,先对交叉熵函数求导,在求出Softmax的导数,代入即可。

  1. Softmax的求导

    pi=eaieak

    piai={pi(1pj),pipj,if i=jif ij

    • 其中 pi 是Softmax函数, ai 是输入到Cross Entropy Loss with Softmax的上一层的输出值(激活值)。
    • Softmax的导数做了构造,很巧妙地构造出 pi 的导数只由 pi pj 组成。
  2. Cross Entropy Loss的求导

    Loss=kyklog(pk)

    Lai=kyk1pkpkai

    • 其中 yi 是对应的one hot label.
  3. Cross Entropy Loss with Softmax的求导
    将Softmax的导数,代入Cross Entropy Loss的导数,处理 pkai 时,要分别考虑 k=i ki 的情况,利用one hot label的性质,可得。

Lai=piyi

这是一个相当简洁的结果。

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值