pytorch的Dataset和Dataloader的简单使用
其余很多参数不常用,比如设置采样的规则、数据集不够分时最后一个batch丢不丢等等。Dataset类:可以根据id索引出单个的数据,还可以进行一些预处理。batch_size:多少个数据组成一个整体,越大对内存要求更高。dataset:传入训练集或者验证集(Dataset对象)。shuffle:训练集一般设为True,验证集为False。,可以自己添加一些预处理的函数,比如划分训练集、验证集。Dataloader类:将数据集进行打包成迭代器。:将数据集按batch进行打包。
原创
2024-05-16 20:53:16 ·
274 阅读 ·
0 评论