Pytorch中CNN图像回归问题预测值都一样

**

Pytorch中CNN图像回归问题预测值都一样

**
上网也查阅了许多资料,然后对比各种方法都试了一遍,归结为以下几点:
1、出现预测值都一样的情况,一般都是在某一层梯度消失了,然后导致输入到下一层的参数为0,再而后面的值都是一样的。
2、可以添加代码来查看网络训练时的参数变化

List item

 for parameters in net.parameters():
   		 print(parameters)

3、解决方案:
①在每个卷积层之后添加bn层,也要在linear层和激活层之间添加bn层,目的是对隐藏层输入数据进行归一化。
②初始化网络参数,指的是对卷积层和线性层的操作。
③在forward中先针对卷积层之后的bn层,添加maxpool层和激活函数,再是对linear层之后的bn层添加激活函数。
④注意前面的激活函数都用sigmoid,最后一层用relu。

  • 2
    点赞
  • 47
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
Transformer 是一种用于序列建模的深度学习模型,最初被用于自然语言处理任务,如机器翻译和语言模型。然而,Transformer 也可以应用于图像回归任务。 在图像回归,我们的目标是预测图像的连续值输出,而不是分类或目标检测等离散类别的预测。Transformer 可以通过将图像分割成不同的区域(如图像块或图像的网格化)来处理图像,并将每个区域作为输入序列进行建模。 以下是使用 Transformer 进行图像回归的一般步骤: 1. 数据准备:将图像数据和其对应的连续值标签进行配对。可以使用预处理技术来调整图像的大小、数据增强等。 2. 特征提取:使用卷积神经网络(CNN)或其他特征提取器来从图像提取特征。这些特征可以是每个区域的向量表示。 3. 区域分割:将图像分割成不同的区域,例如将图像分成网格或使用其他分割方法。每个区域将作为 Transformer 的输入序列。 4. Transformer 模型:使用 Transformer 模型来建模每个区域的特征序列,并输出连续值的预测结果。可以根据具体任务和数据集的需求来设计 Transformer 的架构和超参数。 5. 损失函数和训练:选择适当的损失函数来度量预测结果与真实标签之间的差异,并使用反向传播算法来优化模型参数。 6. 预测和评估:使用训练好的模型来进行图像回归预测,并评估模型的性能指标,如均方误差(MSE)或平均绝对误差(MAE)等。 需要注意的是,图像回归任务的 Transformer 模型可能需要对原始 Transformer 进行一些修改或扩展,以适应特定的输入和输出要求。此外,数据集的大小和多样性也会对模型的性能产生影响。因此,在实际应用,需要根据具体情况进行模型设计和调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值