pytorch
bupt_cy
这个作者很懒,什么都没留下…
展开
-
pytorch中的CrossEntropyLoss()函数
分类问题中,交叉熵函数是比较常用也是比较基础的损失函数,原来就是了解,但一直搞不懂他是怎么来的?为什么交叉熵能够表征真实样本标签和预测概率之间的差值?趁着这次学习把这些概念系统学习了一下。 首先说起交叉熵,脑子里就会出现这个东西: 随后我们脑子里可能还会出现Sigmoid()这个函数: pytorch中的CrossEntropyLoss()函数实际就是先...转载 2019-04-08 22:18:09 · 9419 阅读 · 0 评论 -
Pytorch版Focal Loss
Focal loss 是 文章Focal Loss for Dense Object Detection中提出对简单样本的进行decay的一种损失函数。是对标准的Cross Entropy Loss 的一种改进。 F L对于简单样本(p比较大)回应较小的loss。 如论文中的图1, 在p=0.6时, 标准的CE然后又较大的loss, 但是对于FL就有相对较小的loss回应。这样就是对简单样本的...转载 2019-04-08 22:25:48 · 5133 阅读 · 0 评论 -
Focal Loss 反向传播推导
Focal Loss 前向 其中是输入的数据是输入的标签。 其中 后向梯度计算 为了计算前向公式(3)的梯度我们,首先计算单元的导数。 计算计算导数: 有了(4)和(5)我们就来对(3)进行推倒。 在(6)中把(4)(5)带入并合并整理就得到(7) (7)就是Focal loss的后向的最后结果。要是在Caf...转载 2019-04-08 22:59:20 · 1199 阅读 · 1 评论