啥是log-sum-exp呢,
在损失函数BCEWithLogitsLoss中,Torch官方文档给出的解释是,就是在sigmoid后接了BCELoss。通过将这些操作整合到一层,使用log-sum-exp strick的技巧可以获得更好的数值稳定性。等等,什么是log-sum-exp trick?
查了一下,发现知乎上有篇文章写的很详细,传送门
啥是log-sum-exp呢,
在损失函数BCEWithLogitsLoss中,Torch官方文档给出的解释是,就是在sigmoid后接了BCELoss。通过将这些操作整合到一层,使用log-sum-exp strick的技巧可以获得更好的数值稳定性。等等,什么是log-sum-exp trick?
查了一下,发现知乎上有篇文章写的很详细,传送门