pytorch-迭代器

baye_DOA

已于 2022-09-13 18:05:16 修改

阅读量702

点赞数

分类专栏： pytorch 文章标签： pytorch python 深度学习

于 2022-08-16 14:14:02 首次发布

本文链接：https://blog.csdn.net/baye_DOA/article/details/126365287

版权

pytorch 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

该博客介绍了PyTorch中DataLoader的工作原理，包括如何使用`DataLoader`从文件中加载数据，处理批量大小，以及在训练和测试阶段如何设置`shuffle`和`drop_last`参数。特别强调了`drop_last`参数对于不完整批次的影响，以及在模型测试时避免`shuffle=True`的重要性。

摘要由CSDN通过智能技术生成

class FeatDataTrain(Dataset):
    def __init__(self, file_list , batch_size):
        # image_filenames - 音频路径集合
        self.filenames = self.load_files( file_list)
        self.batch_size = batch_size

    def __len__(self):
        return len(self.filenames)

    def __getitem__(self, idx):
        file_name = self.filenames[idx]
        dir = file_name[0]
        x = cPickle.load(open(dir, 'rb'))
        x = x.astype(np.float32)
        y = int(dir.split('/')[-1].split('.')[0].split('_')[0][0])
        y= y - 1  # 若num_classes=3，则y应为[0,1,2]
        return x ,y

    def load_files(self, csv_path):
        filpath = []
        if csv_path != "":
            f = open(csv_path)
            data = csv.reader(f)  #
            for line in data:
                tmp = line
                filpath.append(tmp)
        else:
            print('没有特征文件！')
        return filpath

最后一个Batch长度不足，会导致输出维度发生问题.drop_last (bool, optional): 如果设置为True：这个是对最后的未完成的batch来说的，比如你的batch_size设置为64，而一个epoch只有100个样本，那么训练的时候后面的36个就被扔掉了

通过读取文件夹路径分配文件。

(2)

loader = DataLoader(dataset,
                    num_workers=opt.num_workers, drop_last=True,
                    shuffle=True, batch_size= opt.batch_size)

在模型测试阶段，如果shuffle=False，会出现意想不到的情况。

参考：

（1）FancyKeras-数据的输入（花式） - 知乎

（2）model.fit以及model.fit_generator区别及用法_猫爱吃鱼the的博客-CSDN博客_model.fit_generator参数

（3）DataLoader详解_sereasuesue的博客-CSDN博客_dataloader

（4）PyTorch 1.x 常用知识_Arrow的博客-CSDN博客

（5）pytorch官方教程中文版（一）PyTorch介绍_努力永远不会欺骗人的博客-CSDN博客_pytorch官方教程中文版

(6)PyTorch简介 - PyTorch官方教程中文版