focal loss函数曲线-python

focal loss函数曲线-python

focal loss函数

焦点损失函数在原交叉熵损失函数的基础上,添加了一个调制因子(1-pi)γ,可以用来调整在少量困难样本和大部分容易样本间的均衡性。调制因子中γ的表示可调聚焦参数。此外,α为平衡因子,用以均衡正负样本本身的数量比例。焦点损失函数的计算方式如下所示:
focal loss
当预测值越接近样本真值时,pi的值趋近于1(即样本为简单样本),而调制因子趋于0,不会影响损失权值的变化。当发生误分类时,pi的值比较小(即样本为难样本),调制因子趋近于1,会减小损失的权重值。而交叉熵损失函数可以看作焦点损失函数的一种特例,即平衡程度为零的损失函数。

focal loss图像

不同γ值下的损失衰减如图所示
在这里插入图片描述

focal loss代码

# coding:utf-8

import matplotlib.pyplot as plt
import numpy as np
from numpy.lib.scimath import logn
from math import e
import matplotlib as mpl

# 防止中文乱码问题
mpl.rcParams['font.sans-serif'] = [u'SimHei']
mpl.rcParams['axes.unicode_minus'] = False

mpl.rcParams['figure.figsize'] = [9, 8]  # for square canvas
x = np.arange(0, 1, 0.01)  # 创建100个0到6之间的等比数列

# plt.plot(x,np.log(x)/np.log(0.5),'y-', linewidth=2, label=u'log0.5(x)')#log0.5(x)
plt.plot(x, -logn(e, x), 'b-', linewidth=2, label=u'γ= 0')  # loge(x)
plt.plot(x, -logn(e, x) * (1 - x), 'r-', linewidth=2, label=u'γ= 1')
plt.plot(x, -logn(e, x) * pow((1 - x), 2), 'g-', linewidth=2, label=u'γ= 2')
plt.plot(x, -logn(e, x) * pow((1 - x), 3), 'y-', linewidth=2, label=u'γ= 3')
plt.plot(x, -logn(e, x) * pow((1 - x), 4), 'c-', linewidth=2, label=u'γ= 4')
# plt.plot(x,np.log(x)/np.log(5))
# plt.plot(x,logn(5,x),'g-',linewidth=2, label=u'loge(x)') #等于求log5(X)
# plt.plot(x,np.log10(x),'r-',linewidth=2, label=u'loge(x)')#log10(x)

plt.axis([0, 1, 0, 5.])  # 指定画图板的长宽

plt.xticks(size=20)
plt.yticks(size=20)

plt.ylabel("loss", fontdict={'weight': 'normal', 'size': 20})
plt.xlabel("pt", fontdict={'weight': 'normal', 'size': 20})
plt.legend(loc='upper right', prop={'size': 20})  # 图例的位置
# plt.grid(True)#需要网格
plt.show()
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
下面是结合 Focal Loss 和 Batch-Balanced Contrastive Loss 的 PyTorch 代码: ```python import torch import torch.nn as nn import torch.nn.functional as F class FocalLoss(nn.Module): def __init__(self, alpha=1, gamma=2, reduction='mean'): super(FocalLoss, self).__init__() self.alpha = alpha self.gamma = gamma self.reduction = reduction def forward(self, inputs, targets): ce_loss = F.cross_entropy(inputs, targets, reduction='none') pt = torch.exp(-ce_loss) focal_loss = self.alpha * (1-pt)**self.gamma * ce_loss if self.reduction == 'mean': return focal_loss.mean() elif self.reduction == 'sum': return focal_loss.sum() else: return focal_loss class BatchBalancedContrastiveLoss(nn.Module): def __init__(self, margin=0.5, alpha=0.5, beta=1, gamma=2, reduction='mean'): super(BatchBalancedContrastiveLoss, self).__init__() self.margin = margin self.alpha = alpha self.beta = beta self.gamma = gamma self.reduction = reduction def forward(self, inputs, targets): n = inputs.size(0) sim_mat = torch.matmul(inputs, inputs.t()) targets = targets.view(n,1) mask = targets.expand(n,n).eq(targets.expand(n,n).t()) pos_mask = mask.triu(diagonal=1) neg_mask = (mask-triu(diagonal=1)).bool() pos_pair = sim_mat[pos_mask] neg_pair = sim_mat[neg_mask] num_pos_pair = pos_mask.sum() num_neg_pair = neg_mask.sum() alpha = self.alpha beta = self.beta if num_pos_pair > 0: alpha = (num_neg_pair / num_pos_pair) * self.alpha if num_neg_pair > 0: beta = (num_pos_pair / num_neg_pair) * self.beta pos_loss = F.relu(pos_pair - self.margin) neg_loss = F.relu(self.margin - neg_pair) if self.gamma > 0: pos_loss = torch.pow(pos_loss, self.gamma) neg_loss = torch.pow(neg_loss, self.gamma) pos_loss = alpha * pos_loss neg_loss = beta * neg_loss bbcon_loss = torch.cat([pos_loss, neg_loss], dim=0) if self.reduction == 'mean': return bbcon_loss.mean() elif self.reduction == 'sum': return bbcon_loss.sum() else: return bbcon_loss class FocalBatchBalancedContrastiveLoss(nn.Module): def __init__(self, alpha=1, gamma=2, margin=0.5, beta=1, reduction='mean'): super(FocalBatchBalancedContrastiveLoss, self).__init__() self.alpha = alpha self.gamma = gamma self.margin = margin self.beta = beta self.reduction = reduction self.focal_loss = FocalLoss(alpha=self.alpha, gamma=self.gamma, reduction='none') self.bbcon_loss = BatchBalancedContrastiveLoss(margin=self.margin, alpha=1, beta=self.beta, reduction='none') def forward(self, inputs, targets): n = inputs.size(0) ce_loss = self.focal_loss(inputs, targets) bbcon_loss = self.bbcon_loss(inputs, targets) if self.reduction == 'mean': return (ce_loss + bbcon_loss).mean() elif self.reduction == 'sum': return (ce_loss + bbcon_loss).sum() else: return ce_loss + bbcon_loss ``` 使用方法: ```python loss_fn = FocalBatchBalancedContrastiveLoss(alpha=1, gamma=2, margin=0.5, beta=1, reduction='mean') optimizer = torch.optim.Adam(model.parameters(), lr=0.001) for epoch in range(num_epochs): for i, (inputs, targets) in enumerate(train_loader): optimizer.zero_grad() outputs = model(inputs) loss = loss_fn(outputs, targets) loss.backward() optimizer.step() ``` 注意,这里的 `inputs` 是模型的输出,而 `targets` 是标签。在训练过程中,你需要将 `inputs` 和 `targets` 输入到模型中,得到输出 `outputs`,然后计算损失并进行反向传播和优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

荒月交午

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值