pytorch连续多次推理同样的数据,结果居然不一样?

在使用pytorch搭建自己的cnn网络,遇到了模型运行不稳定情况,即连续两次在同一个数据上用相同的模型推理,得到的结果会有细微的差异,这是为什么呢?

排查了一下原因,我这边的问题出在反卷积上。首先看下面的两个语句:

语句1:self.deconv1 = nn.ConvTranspose2d(in_channel, out_channel, kernel_size=4, stride=2, padding=1, output_padding=0, bias=False)
语句2:self.deconv1 = nn.ConvTranspose2d(in_channel, out_channel, kernel_size=5, stride=2, padding=2, output_padding=1, bias=False)

这两个语句都可以使特征上采用两倍。

根据经验,反卷积操作中,stride和ksize 不能整除时,会出现棋盘格现象,二维图像的时候更显著,所以语句1在消除棋盘格上表现更优。

但是在pytorch中,根据经验(可参考:https://blog.csdn.net/qq_41368247/article/details/86626446),如果stride>1,一般将out_padding设置为stride-1,然而语句1中的output_padding却采用了默认参数0。

我在做实验过程中发现:语句1运行不够稳定,连续两次跑同样的模型,结果会有微小的差异,具体原因也可以从https://blog.csdn.net/qq_41368247/article/details/86626446中寻找答案,我认为主要原因是out_padding参数设置的问题。

如果语句1也设置output_padding为1呢?会出现反卷积生成的特征图大小不会正好上采样两倍(比两倍大小偏大)。但是语句2可能会出现棋盘格现象,那么怎么解决呢?

可以采用如下方法解决:

https://blog.csdn.net/cs_softwore/article/details/86593604

另,语句1是否可以out_padding=1,然后将特征大小裁剪为两倍大小呢?这个方法我没有尝试,有类似经验的小伙伴欢迎补充、指正。

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值