UserWarning:Implicit dimension choice for softmax has been deprecated.原理及解决

前言:

博主最近在搭建模型的时候,突然爆出警告,可能是新版本的函数的问题。

一、softmax函数

softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类!

假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素的softmax值就是

更形象的如下图表示:

softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用,就映射成为(0,1)的值,而这些值的累和为1(满足概率的性质),那么我们就可以将它理解成概率,在最后选取输出结点的时候,我们就可以选取概率最大(也就是值对应最大的)结点,作为我们的预测目标!

二、问题解决

2.1 softmax帮助文档:

Args:
    dim (int): A dimension along which Softmax will be compu
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
这个警告包含了两个部分: 1. 针对 `nn.functional.softmax` 函数的警告,它表示 `softmax` 函数现在需要指定 `dim` 参数,以明确对哪个维度进行计算。你可以在 `softmax` 函数中添加 `dim=1` 参数,表示对每一行进行计算。修改后的代码如下: ``` x = nn.functional.softmax(x, dim=1) ``` 2. 针对损失函数 `F.mse_loss` 的警告,它表示你的模型输出的尺寸与标签的尺寸不匹配。在你的代码中,模型的输出是一个形状为 `[batch_size, 1]` 的张量,而标签是一个形状为 `[batch_size]` 的张量。这会导致在计算损失时进行广播,可能会得到错误的结果。为了解决这个问题,你需要将标签的形状改为 `[batch_size, 1]`。你可以使用 `torch.unsqueeze` 函数来添加一个额外的维度,将标签的形状从 `[batch_size]` 改为 `[batch_size, 1]`。修改后的代码如下: ``` train_y = train_y.unsqueeze(1) ``` 修改完成后的代码如下: ``` import torch import torch.nn as nn import pandas as pd class Wine_net(nn.Module): def __init__(self): super(Wine_net, self).__init__() self.ln1=nn.LayerNorm(11) self.fc1=nn.Linear(11,22) self.fc2=nn.Linear(22,44) self.fc3=nn.Linear(44,1) def forward(self,x): x=self.ln1(x) x=self.fc1(x) x=nn.functional.relu(x) x=self.fc2(x) x=nn.functional.relu(x) x = self.fc3(x) x = nn.functional.softmax(x, dim=1) return x # 读取数据 df = pd.read_csv('winequality.csv') df1=df.drop('quality',axis=1) df2=df['quality'] train_x=torch.tensor(df1.values, dtype=torch.float32) train_y=torch.tensor(df2.values,dtype=torch.float32).unsqueeze(1) # 定义模型、损失函数和优化器 model=Wine_net() loss_fn=nn.MSELoss() optimizer =torch.optim.SGD(model.parameters(), lr=0.0001) # 训练模型 for epoch in range(10): # 前向传播 y_pred = model(train_x) # 计算损失 loss = loss_fn(y_pred, train_y) # 反向传播 optimizer.zero_grad() loss.backward() optimizer.step() ``` 希望能够帮到你!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

两只蜡笔的小新

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值