【计算机视觉】关于`partial cross entropy loss`用于弱监督语义分割中的说明

179 篇文章 40 订阅 ¥39.90 ¥99.00
59 篇文章 49 订阅 ¥39.90 ¥99.00
31 篇文章 31 订阅

【计算机视觉】关于partial cross entropy loss用于弱监督语义分割中的说明

弱监督标签

以两类别语义分割为例,背景和前景,给定的弱监督标签是只对前景个一小部分进行了标注。这个只是直接拿这个弱监督标签进行训练,会有一定的问题,因为大部分的前景标签都没有标注出来,所以前景类别会受到较大的抑制。

GT标签:在这里插入图片描述

Weak标签:在这里插入图片描述

采用 partial cross entropy loss

意思是只在有标注的像素上计算cross entropy loss。前景目标为1,那么对应的 loss=-∑t_i*log(p_i), i 为像素索引, t_i 为对应的真实标签,p_i 为对应的分割输出是前景的概率。对比正常的cross entropy loss,少了对于真实标签为0的部分的loss计算:loss=-∑t_i*log(p_i)-∑(1-t_i)*log(1-p_i),也就是说认为弱标签只是提供了对前景的标注。因此,计算时只对有标注的像素计算损失。<

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
交叉熵损失函数(cross entropy loss)对模型参数 $\theta$ 的偏导数可以通过链式法则求出。具体来说,对于一个二分类问题,交叉熵损失函数定义为: $$ L(\theta) = -\frac{1}{N}\sum_{i=1}^{N} [y_i \log h_\theta(x_i) + (1-y_i) \log(1-h_\theta(x_i))] $$ 其,$N$ 是样本数,$x_i$ 是第 $i$ 个样本的输入,$y_i$ 是第 $i$ 个样本的真实标签,$h_\theta(x_i)$ 是模型预测输出,$\theta$ 是模型参数。 对于一个样本 $i$,其损失函数的偏导数可以表示为: $$ \begin{aligned} \frac{\partial L(\theta)}{\partial \theta} &= \frac{\partial L(\theta)}{\partial h_\theta(x_i)} \cdot \frac{\partial h_\theta(x_i)}{\partial \theta}\\ &= -\frac{1}{N}[ \frac{y_i}{h_\theta(x_i)} - \frac{1-y_i}{1-h_\theta(x_i)} ] \cdot \frac{\partial h_\theta(x_i)}{\partial \theta} \end{aligned} $$ 其,第一步是链式法则的应用,第二步是对交叉熵损失函数的求导结果。对于第二个式子,我们需要知道模型输出 $h_\theta(x_i)$ 对参数 $\theta$ 的偏导数,这可以通过反向传播算法求解。如果模型是一个神经网络,我们可以通过自动微分框架(如PyTorch)实现快速求解。 综上所述,对于整个样本集合,交叉熵损失函数对参数 $\theta$ 的偏导数可以表示为: $$ \frac{\partial L(\theta)}{\partial \theta} = -\frac{1}{N}\sum_{i=1}^{N}[ \frac{y_i}{h_\theta(x_i)} - \frac{1-y_i}{1-h_\theta(x_i)} ] \cdot \frac{\partial h_\theta(x_i)}{\partial \theta} $$ 其,$h_\theta(x_i)$ 表示模型对第 $i$ 个样本的预测输出。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Zhang_P_Y

感谢支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值