pytorch使用Dataloader加载自己的数据集train_X和train_Y

1.重构一个新的dataloader函数

在使用torch进行训练的时候，往往需要自己构建dataloader，但是有时候官方给出的dataloader并不能符合我们的预期输入，于是我在此对其进行了重新封装，使得可以接受用户的自己的输入train_X和train_Y

# 定义GetLoader类，继承Dataset方法，并重写__getitem__()和__len__()方法
class GetLoader(torch.utils.data.Dataset):
	# 初始化函数，得到数据
    def __init__(self, data_root, data_label):
        self.data = data_root
        self.label = data_label
    # index是根据batchsize划分数据后得到的索引，最后将data和对应的labels进行一起返回
    def __getitem__(self, index):
        data = self.data[index]
        labels = self.label[index]
        return data, labels
    # 该函数返回数据大小长度，目的是DataLoader方便划分，如果不知道大小，DataLoader会一脸懵逼
    def __len__(self):
        return len(self.data)

2.调用

    train_data= GetLoader(train_X, train_Y)
    train_loader=DataLoader(dataset=train_data,batch_size=50, shuffle=True, num_workers=0)
    #这里只写了train_X和train_Y的，test_X和test_Y的类似
    
    for data,labels in train_loader:
        pass	#	在这里就可以正常操作啦

如果大家需要的话，当然也可以更改，例如每一个data_loader可以输出该batch的文件名字，这样的话就可以解决在大训练样本的过程中，我们的train_X过大导致的在后期增加样本时的速度变慢问题。

# 定义GetLoader类，继承Dataset方法，并重写__getitem__()和__len__()方法
class GetLoader(torch.utils.data.Dataset):
	# 初始化函数，得到数据
    def __init__(self,filenames,data_root, data_label):
        self.filenames=filenames
        self.data = data_root
        self.label = data_label
    # index是根据batchsize划分数据后得到的索引，最后将data和对应的labels进行一起返回
    def __getitem__(self, index):
        filename=self.filenames[index]
        data = self.data[index]
        labels = self.label[index]
        return filename,data, labels
    # 该函数返回数据大小长度，目的是DataLoader方便划分，如果不知道大小，DataLoader会一脸懵逼
    def __len__(self):
        return len(self.data)

此时我们的Getloader类则需要输入三个变量啦，分别为filenames,train_X和train_Y,如下所示：

  train_data= GetLoader(filenames,train_X, train_Y)
  train_loader=DataLoader(dataset=train_data,batch_size=50, shuffle=True, num_workers=0)
    #这里只写了train_X和train_Y的，test_X和test_Y的类似
    
    for filename,data,labels in train_loader:
        pass	#	在这里就可以正常操作啦

其实到这里还是没有彻底解决大训练样本时的数据堆叠导致的内存消耗，大家可以将这里的train_X进行删掉，不提前求取特征，而是在GetLoader里边对每一个文件求取特征即可，这样就可以不用对输入特征进行拼接了。具体改动如下：

# 定义GetLoader类，继承Dataset方法，并重写__getitem__()和__len__()方法
class GetLoader(torch.utils.data.Dataset):
	# 初始化函数，得到数据
    def __init__(self, filenames, data_label):
        self.filenames= filenames
        self.labels = data_label
    # index是根据batchsize划分数据后得到的索引，最后将data和对应的labels进行一起返回
    def __getitem__(self, index):
        filename= self.filenames[index]
        labels = self.labels[index]
        #在这里求取特征，可以免去之前的特征拼接步骤
        data,sr=soundfile.read(filename)
        return filename,data, labels
    # 该函数返回数据大小长度，目的是DataLoader方便划分，如果不知道大小，DataLoader会一脸懵逼
    def __len__(self):
        return len(self.labels)

此时的调用则变成了输入filenames和labels两项,输出则变成了三项，分别为：filename,data,label，则具体的调用变成如下方式：

  train_data= GetLoader(filenames, train_Y)
  train_loader=DataLoader(dataset=train_data,batch_size=50, shuffle=True, num_workers=0)
    #这里只写了train_X和train_Y的，test_X和test_Y的类似
    
    for filename,data,labels in train_loader:
        pass	#	在这里就可以正常操作啦