pytorch softmax_损失函数总结(pytorch)

本文详细介绍了PyTorch中的几种损失函数,包括L1Loss、SmoothL1Loss、MSELoss、CrossEntropyLoss和nll_loss。重点讨论了为什么在分类问题中通常选择CrossEntropyLoss作为损失函数,因为它具有更好的优化性质。文章还解释了Softmax函数的作用,以及如何计算和理解交叉熵。
摘要由CSDN通过智能技术生成

pytorch的损失函数

1.nn.L1Loss

Examples::
    >>> loss = nn.L1Loss(reduction='sum')
    >>> input = torch.tensor([1., 2, 3, 4])
    >>> target = torch.tensor([4., 5, 6, 7])
    >>> output = loss(input, target)
    >>> print(output)

两个输入类型必须一致,reduction是损失函数一个参数,有三个值:‘none’,返回的是一个向量 (batch_size, )。‘sum’,返回的是求和,‘elementwise_mean’,返回的是求均值。上面例子用不同的参数的话返回分别为:tensor([3., 3., 3., 3.]),tensor(3.),tensor(12.)。

2.nn.SmoothL1Loss

求导

import torch
import torch.nn as nn
import torch.nn.functional as F

a = torch.tensor([1., 2, 3, 4])
b = torch.tensor([1.1, 5, 6, 7])
loss_fn = nn.SmoothL1Loss(reduction='none')
loss = loss_fn(a, b)
print(loss)
#out
tensor([0.0050, 2.5000, 2.5000, 2.5000])

3.nn.MSELoss

loss(xi,yi)=(xi−yi)2

两个输入类型必须一致,

a = torch.tensor([1., 2, 3, 4])
b = torch.tensor([4., 5, 6, 7])
loss_fn = nn.MSEL
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PyTorch中的Softmax激活函数是一个常用的非线性激活函数,它将输入的每个元素归一化到一个概率分布上。Softmax函数的输出是一个数值范围在[0,1]之间的向量,向量中的所有元素的和为1。 在PyTorch中,可以使用torch.nn.functional.softmax函数来实现Softmax激活函数。这个函数接受一个输入张量作为参数,并返回对应的Softmax激活后的张量。 例如,假设我们有一个输入张量x,形状为[batch_size, num_classes],其中batch_size是输入样本的数量,num_classes是类别的数量。我们可以使用如下代码来应用Softmax激活函数: ``` python import torch import torch.nn.functional as F x = torch.randn(batch_size, num_classes) softmax_output = F.softmax(x, dim=1) ``` 在上面的代码中,输入张量x经过softmax函数后,输出的softmax_output将是一个与x具有相同形状的张量。而且,softmax_output中的每个元素都是归一化的,表示对应类别的概率。 需要注意的是,softmax函数可以沿着一个维度进行运算。在上面的例子中,我们通过设置dim=1来指定在第1个维度(即类别维度)进行Softmax操作。 Softmax激活函数在深度学习中非常常用,特别在多类别分类问题中。它可以将模型的输出转化为概率分布,方便进行后续的概率计算和决策。同时,Softmax激活函数具有一阶可导的性质,可以支持反向传播算法进行模型参数的学习和优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值