pytorch基础使用—自定义损失函数

白三点

已于 2023-07-21 15:33:26 修改

阅读量1.5k

点赞数 1

分类专栏： Pytorch使用文章标签：深度学习 pytorch

于 2023-04-15 10:44:46 首次发布

本文链接：https://blog.csdn.net/weixin_51691064/article/details/130138001

版权

Pytorch使用专栏收录该内容

11 篇文章 0 订阅

订阅专栏

文章目录

1 模板
2 损失函数
3 代价函数、损失函数、目标函数

1 模板

与定义一个模型类似，定义一个继承nn.Module的类：

__init__：初始化超参数
forward：定义损失的计算方式，并进行前向传播
backward：反向传播(暂未遇到需要修改的情况)

import torch.nn as nn
import torch

class MyLoss(nn.Module):

	def __init__(self):
		# 超参数初始化，如
		slef.param1 = 0
	
	def forward(self, predict, label):  # 一般是预测值和label
		# 进行损失计算，即前向传播，如
		return torch.mean(torch.pow((predict - label), 2))  # 可以自己定义一些计算，但是所有的数学操作必须使用tensor提供的math。也可以用functional提供的一些损失计算，如交叉熵损失。

下面介绍一些损失函数：

2 损失函数

损失函数分为两类：

分类损失，如0-1 loss、熵与交叉熵loss、softmax loss及其变种、KL散度、Hinge loss、Exponential loss、Logistic loss、Focal Loss。
回归损失，如L1 loss、L2 loss、perceptual loss、生成对抗网络损失、GAN的基本损失、-log D trick、Wasserstein GAN、LS-GAN、Loss-sensitive-GAN。

2.1 交叉熵损失

交叉熵损失函数一般用于分类任务，在计算的时候，期望输出和实际输出一般是one-hot形式（只有一个是真实值1，其余都是0）

2.1.1 原理

交叉熵主要是用来判定实际的输出与期望的输出的接近程度：
在这里插入图片描述
其中p为期望输出，q为实际输出。

假设期望输出为p=[1, 1, 0]，实际输出q1=[0.4, 0.3, 0.3]，q2=[0.6, 0.3, 0.1]：
在这里插入图片描述

可以看到q2和p的交叉熵更小，代表q2和p更加接近。

2.1.2 公式推导

假设有N条数据，out为网络输出，p为期望输出。
对于二分类问题：
首先我们先使用sigmod函数处理网络输出，限制其范围为0-1，结果为q，代表着实际输出：
在这里插入图片描述
对于一个样本i来说，在期望输出为pi的情况下，其正负样本的概率为：

假设所有样本相互独立，对应的似然函数为：

对似然函数取对数和相反数即为损失函数

2.1.3 扩展

交叉熵损失也可以应用到多分类问题，只是此时我们的网络输出out是一个one-hot变量，此时我们需要将out通过softmax函数，而不是sigmod。
假设网络输出N个样本，每个样本C个类别。一个样本的输出out(维度是1xC)，其第i个数在这里插入图片描述经过softmax计算如下：

该样本中其余数也经过这样计算。该样本的编码这样处理后所有值相加为0，然后取其中最大的一个作为。后面就与二分类问题一致了。

2.1.4 `nn.CrossEntropyLoss`

from torch.nn impiort CrossEntropyLoss  # 导入

loss = CrossEntropyLoss()  # 定义，后面去使用即可

还有一种办法是使用functional中的cross_entropy函数。

2.2 Focal Loss

Focal Loss以交叉熵损失为基础，引入主要是为了解决目标检测中正负样本数量极不平衡问题。
交叉熵函数如下：
在这里插入图片描述
两个式子合并到一起为：

由该函数得到的交叉熵损失函数无法解决正负样本的平衡问题。因此经过三个阶段形成了Focal Loss：

平衡交叉熵
聚焦损失

2.2.1 平衡交叉熵

一个普遍的解决正负样本的问题的办法是增加权重参数：在这里插入图片描述，公式为：
样本t中，当为正样本y=1，负样本y=0。
结合了参数的交叉熵函数为：

2.2.2 聚焦损失

参数在这里插入图片描述平衡了正负样本不均衡的问题。但是后面又发现难分样本的问题，为此，对于简单的样本增加一个小的权重，让损失函数聚焦在困难样本的训练。
设置这样一个调节因子：，其中。
结合该调节因子后，交叉熵函数如下：
在这里插入图片描述
当p为1，即为易区分样本时，接近0，即降低对易区分样本的损失比例。

2.2.3 Focal Loss

假设N个样本，最终的Focal Loss由上面CE(p. y)得到：
在这里插入图片描述
论文中提示时效果最好。
公式推导与2.1.2小结中一致

2.2.4 Code

def focal_loss(y, p, alpha=0.25, gamma=2):
    p = K.clip(y_pred, 1e-8, 1 - 1e-8)
    return - alpha * y * K.log(p) * (1 - p)**gamma - (1 - alpha) * (1 - y) * K.log(1 - p) * p**gamma