PyTorch使用Dataset和DataLoader加载数据集
在PyTorch里优化器都是小批量小批量地优化训练的,即每次都会从原数据集中取出一小批量进行训练,完成一次权重更新后,再从原数据集中取下一个小批量数据,然后再训练再更新。。。比如最常用的小批量随机梯度下降(Mini-Batch Gradient Descent,MBGD)。毕竟原数据集往往很大,不可能一次性的全部载入内存,只能一小批一小批地载入内存。训练完了就扔了,再加载下一小批。如何实现批量地加载数据集?在PyTorch的torch.utils.data包中定义了两个类Dataset和DataL
原创
2020-11-08 16:02:18 ·
11488 阅读 ·
1 评论