Pytorch 源码分析 torch.utils.data.DataLoader

最新推荐文章于 2024-03-24 13:30:39 发布

Tiám青年

最新推荐文章于 2024-03-24 13:30:39 发布

阅读量536

点赞数 1

分类专栏： Pytorch

本文链接：https://blog.csdn.net/xiasli123/article/details/102950364

版权

本文详细分析了PyTorch中torch.utils.data.DataLoader的源码，解释了其参数作用，如batch_size、shuffle、num_workers等。特别讨论了collate_fn函数，用于合并样本列表形成小批量数据。此外，提到了如何处理数据集中损坏的文件，可以使用filter函数过滤后，再通过DataLoader以batch形式送入神经网络。

摘要由CSDN通过智能技术生成

今天来分析一下，在看代码中遇到的问题，先看源码torch.utils.data.DataLoader。

class torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, num_workers=0, collate_fn=<function default_collate>, pin_memory=False, drop_last=False)

这是一个数据加载器。组合数据集和采样器，并在数据集上提供单进程或多进程迭代器。

参数：