目标检测时出现RuntimeError: invalid argument 0: Sizes of tensors must match except in dimension 0.

造成这个bug的原因有很多,一般都是在用pytorch读取数据时产生的,下面是几种常见的情况。

出错代码

dataG = ObjectDataset(image_ids, DIR_TRAIN+'/image')

dataloader = torch.utils.data.DataLoader(dataset=dataG,
                                         batch_size=16, # 只要不是1,很有可能就会出错
                                         shuffle=False)
                                        

case1:每个图象的目标个数不尽相同,原始参数适用

参考博客:pytorch:data读取出错:RuntimeError: invalid argument 0: Sizes of tensors must match except in dimension

在使用Dataloader读取数据的时候,使用batch_size=1不会出现这个问题。当batch_size>1时, 默认将会使用torch.stack()为你生成一个[batch,x, x, x] 的tensor数据,在使用该函数时需要输入的两个tensor维度一样。

  • 注意自己图像的大小是否resize到相同尺寸。

  • 图像的通道数是否相同,全彩色或全灰度,使用相同的类型。

  • 如果是CNN的多标签分类,标签长度不同也可以用下面的办法。

在进行目标检测的时候,我们返回的不仅仅是图像数据,还有它的gt_box以及gt_label。但是每个图像的标签个数不是相同的,所以在使用Dataloader原始的参数时也会报错。此时可以自己写一个 collate_fn函数,因为我的返回为图像、目标框以及类别标签所以修改如下:

def collate_fn(batch):
    gt_box = []
    gt_label = []
    imgs = []
    for info in batch:
        imgs.append(info[0])
        gt_box.append(info[1])
        gt_label.append(info[2])
    return torch.stack(imgs, 0), gt_box,gt_label

注意:这个函数写法不唯一,也有这样:

def collate_fn(batch):
    return tuple(zip(*batch))

调用时:

dataloader = torch.utils.data.DataLoader(dataset=dataG,
                                         batch_size=16,
                                         shuffle=False,
                                         collate_fn=collate_fn)

case2:图象大小不一样

这种只需要在读取图像时加上resize就行了

case3:样本数不能整除batch_size(据说)

来源:https://www.cnblogs.com/zxj9487/p/11531888.html

比如你有1000组数据(假设每组数据为三通道256px256px的图像),batchsize为4,那么每次训练则提取(4,3,256,256)维度的张量来训练,刚好250个epoch解决(2504=1000)。但是如果你有999组数据,你继续使用batchsize为4的话,这样999和4并不能整除,你在训练前249组时的张量维度都为(4,3,256,256)但是最后一个批次的维度为(3,3,256,256),Pytorch检查到(4,3,256,256) != (3,3,256,256),维度不匹配,自然就会报错了,这可以称为一个小bug。

  • 4
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值