[已解决]使用Pytorch的DataSet、DataLoad时报错:stack expects each tensor to be equal size..。

文章讲述了在使用PyTorch的DataSet类中,当使用getitem方法进行数据切分时遇到RuntimeError,原因是最后一个数据块切分不完整。解决方法是重写len方法,确保数据集返回的长度不会包含不完整的数据部分。
摘要由CSDN通过智能技术生成

完整报错:
RuntimeError: stack expects each tensor to be equal size, but got [4] at entry 0 and [3] at entry 30

在这里插入图片描述
问题所在:
使用pytorch的DataSet类中的getitem方法切分数据时,最后一个数据切分不完整。

解决办法:
重写len方法,把数据集返回长度处理一下即可,避免有不完整的数据留下


from torch.utils.data import Dataset  

  
class MyDataset(Dataset):  
    def __init__(self,data,days_for_train): 
        self.data = data
        self.days_for_train = days_for_train
        self.label_len = 0
        self.pred_len = 1
  
    def __len__(self):  
        # 返回数据集的大小  
        return len(self.data) - self.days_for_train + 1
  

    
    def __getitem__(self, index):
        s_begin = index
        s_end = s_begin + self.days_for_train
        r_begin = s_end
        r_end = r_begin + self.pred_len

        seq_x = self.data[s_begin:s_end]
        seq_y = self.data[r_begin:r_end]


        return seq_x, seq_y

这个错误通常发生在使用PyTorch的torch.stack函数,输入的张量(tensor)尺寸不一致导致的。 解决方法是将所有输入张量(tensor)的尺寸(shape)改为相同大小,可以通过padding或者截断的方式实现。具体来说,可以通过下面两种方式解决这个问题: 1. Padding方式 在将数据喂给torch.stack之前,将所有的张量(tensor)填充到相同的尺寸。可以使用PyTorch中的torch.nn.functional.pad函数实现。具体代码如下: ```python import torch # 将所有张量填充到相同尺寸 max_shape = torch.Size([1, 17]) # 假设最大尺寸为 [1, 17] padded_tensors = [] for tensor in tensor_list: pad = torch.nn.functional.pad(tensor, [0, max_shape[1] - tensor.shape[1], 0, max_shape[0] - tensor.shape[0]]) padded_tensors.append(pad) # 将所有张量堆叠起来 stacked_tensor = torch.stack(padded_tensors, dim=0) ``` 其中,tensor_list是一个列表,包含了所有的张量(tensor),每个张量的尺寸可以不同。 2. 截断方式 如果不想使用padding方式,也可以将所有张量(tensor)截断到相同的尺寸。具体代码如下: ```python import torch # 将所有张量截断到相同尺寸 max_shape = torch.Size([1, 11]) # 假设最大尺寸为 [1, 11] truncated_tensors = [] for tensor in tensor_list: truncated = tensor[:, :max_shape[1]] truncated_tensors.append(truncated) # 将所有张量堆叠起来 stacked_tensor = torch.stack(truncated_tensors, dim=0) ``` 其中,max_shape是所有张量中的最大尺寸,truncated_tensors是截断后的张量列表。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值