目标检测中Loss函数:Focal Loss反向求导

focal Loss梯度求导的链式法则:
转载: https://blog.csdn.net/linmingan/article/details/77885832
     反向传播网络的工作过程是首先进行信息的前馈,计算出各个节点的输入输出值,网络最终的输出,并把各个节点的输入输出值进行存储,利用损失函数求出最终的损失,然后进行损失的反向传播,在损失反向传播的过程中实际上是对各个节点的输出进行求梯度,那么在这个过程中我们发现用到的值都是之前前馈过程中的输入输出值,只要推导出计算公式,就可以直接利用存储的中间变量实现反向传播的梯度求解,然后是对各个权值进行更新,在更新的过程中会用到先前求解的对于各个节点输出梯度。


其中的分母的平方是整体的平方,先来看看softmax是如何求导的:


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值