pytorchDataLoader中调整数据长度不一致问题(lstm等)

数据长度不一致

用pytorch做rnn的时候,如果输入数据不一样长,可以用两种方式解决。
一种是自定义collate方法,

#自定义collate_fn
dataloader.DataLoader(dataset,4,True,collate_fn=my_collate)

然后里面写数据和标签载入方式即可

def my_collate(batch):
    data = [item[0] for item in batch]
    target = [item[1] for item in batch]
    return [data, target]

第二种方式使用

压缩:nn.utils.rnn.pack_padded_sequence
解压是 这个pad_packed_sequence

核心思想是对padding补充过的数据进行压缩,这种方式可以加速运算在大数据集中效果较好
(原理是把数据中为0的padding给压缩掉,进入RNN计算的时候直接跳过输出0)

当你拿到长短不一致的数据的时候
第一步自然是PADDING,无论什么框架都一样,自己手写一个就行了

def custompad(X,max_len=10):
    X = torch.Tensor(X)
    m=X.shape[0]
    pad = torch.zeros
  • 5
    点赞
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值