Distilling the Knowledge in a Neural Network公式2推导

在这里插入图片描述

推导: \large\bf推导: 推导:
∂ C ∂ z i = ∑ j = 1 N ∂ C ∂ q j ∂ q j ∂ z i = ∂ C ∂ q i ∂ q i ∂ z i + ∑ j = 1 , j ≠ i N ∂ C ∂ q j ∂ q j ∂ z i = 1 T [ p i ( q i − 1 ) + ∑ j = 1 , j ≠ i N p j q i ] = 1 T ( q i − p i ) \begin{aligned} \frac{\partial C}{\partial z_i}&=\sum_{j=1}^N\frac{\partial C}{\partial q_j}\frac{\partial q_j}{\partial z_i}\\ &=\frac{\partial C}{\partial q_i}\frac{\partial q_i}{\partial z_i}+\sum _{j=1,j\neq i}^N \frac{\partial C}{\partial q_j}\frac{\partial q_j}{\partial z_i}\\&=\frac{1}{T}[p_i(q_i-1)+\sum _{j=1,j\neq i}^Np_jq_i]\\&=\frac{1}{T}(q_i-p_i)\end{aligned} ziC=j=1NqjCziqj=qiCziqi+j=1,j=iNqjCziqj=T1[pi(qi1)+j=1,j=iNpjqi]=T1(qipi)

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值